Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Predlažem da se upoznate s transkripcijom izvještaja Aleksandra Sigačeva iz Inventosa „Proces razvoja i testiranja s Docker + Gitlab CI“

Oni koji tek počinju uvesti proces razvoja i testiranja temeljen na Docker + Gitlab CI često postavljaju osnovna pitanja. Odakle početi? Kako organizirati? Kako testirati?

Ova prezentacija je dobra jer strukturirano govori o procesu razvoja i testiranja uz korištenje Dockera i Gitlab CI. Izvještaj je iz 2017. godine. Mislim da se iz tog izvještaja mogu iščitati osnove, metodologija, ideja, iskustvo korištenja.

Pogledajte video

Tko je zainteresiran, molim vas ispod.

Zovem se Aleksandar Sigačev. Radim u kompaniji Inventos. Pričat ću o svom iskustvu korištenja Dockera i o tome kako ga pomalo uvodimo u projekte u kompaniji.

Tema izvještaja: Proces razvoja uz korištenje Dockera i Gitlab CI.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Ovo je moja druga prezentacija o Dockeru. U trenutku prve prezentacije koristili smo Docker samo u razvoju na računalima programera. Broj zaposlenika koji su koristili Docker bio je oko 2-3 osobe. Postupno smo stekli iskustvo i malo napredovali. Link na našu prvu prezentaciju.

Što će biti u ovoj prezentaciji? Podijelit ćemo iskustvo o tome koje smo prepreke naišli, koje probleme smo kako riješili. Nije svugdje bilo lijepo, ali nam je omogućilo daljnji napredak.

Naš moto: dockeriziraj sve što ti ruke dosegnu.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Koje probleme rješavamo?

Kada u kompaniji postoji nekoliko timova, programer je zajednički resurs. Bivaju faze kada se programer izvadi iz jednog projekta i neko vrijeme dodijeli drugom projektu.

Da bi se programer brzo uklopio, potrebno je preuzeti izvorni kod projekta i što brže pokrenuti okruženje koje će mu omogućiti da napreduje rješavajući zadatke tog projekta.

Obično, ako se počinje od nule, dokumentacije u projektu je malo. Informacije o tome kako postaviti, imaju samo stari članovi tima. Zaposlenici obično postavljaju svoje radno mjesto za jedan do dva dana. Da bismo to ubrzali, primijenili smo Docker.

Sljedeći razlog je standardizacija postavki u razvoju. Prema mom iskustvu, programeri uvijek pokazuju inicijativu. U svakom petom slučaju uvede se prilagođena domena, na primjer vasya.dev. Pored sjedi kolega Petya, koji ima domena petya.dev. Oni razvijaju web stranicu ili neki komponent sustava, koristeći ovo ime domene.

Kada se sustav širi i ova imena domena počinju ulaziti u konfiguracije, nastaje sukob razvojnih okruženja i put do web-stranice se prepisuje.

Isto se događa i sa postavkama baze podataka. Neki se ne brinu o sigurnosti i rade s praznom root lozinkom. Nekome je tijekom instalacije MySQL zatražio lozinku i ta lozinka je bila 123. Često se događa da se konfiguracija baze podataka stalno mijenjala ovisno o izmjenama programera. Netko je popravio, netko nije popravio konfiguraciju. Bilo je osmišljenih rješenja kada smo iznosili neku testnu konfiguraciju u .gitignore i svaki programer je morao instalirati bazu podataka. To je otežavalo proces pokretanja. Osim svega toga, potrebno je zapamtiti i bazu podataka. Bazu podataka treba inicijalizirati, potrebno je navesti lozinku, potrebno je navesti korisnika, stvoriti tablicu i tako dalje.

Još jedan od problema su različite verzije biblioteka. Često se događa da programer radi na različitim projektima. Postoji Legacy projekt koji je započet prije pet godina (od 2017. godine — napomena urednika). Na početku je počelo s MySQL 5.5. Tu su i moderni projekti gdje nastojimo implementirati već moderne verzije MySQL-a, primjerice 5.7 ili starije (u 2017. godini — napomena urednika).

Oni koji rade s MySQL-om znaju da ove biblioteke vuku ovisnosti. Prilično je problematično pokrenuti 2 baze zajedno. U najmanju ruku, starim klijentima je problematično povezati se s novom bazom podataka. To zauzvrat stvara nekoliko problema.

Sljedeći problem je kada programer radi na lokalnoj mašini, koristi lokalne resurse, lokalne datoteke, lokalnu RAM memoriju. Sve interakcije u trenutku razvoja rješavanja zadatka odvijaju se u okviru onoga što radi na jednoj mašini. Primjer može biti kada imamo 3 backend poslužitelja u produkciji, a programer sprema datoteke u korijenski direktorij i odatle nginx uzima datoteke za odgovore na zahtjeve. Kada takav kod dođe u produkciju, ispostavlja se da je datoteka prisutna na jednom od 3 poslužitelja.

Sada se razvija smjer mikroslužbi. Kada dijelimo naše velike aplikacije na manje komponente koje međusobno komuniciraju. To omogućuje odabir tehnologija specifičnih za određeni skup zadataka. Također, ovo omogućuje podjelu rada i odgovornosti između programera.

Frontend programer, razvijajući na JS, praktički ne utječe na Backend. Backend programer, s druge strane, razvija, u našem slučaju, Ruby on Rails i ne ometa Frontend. Interakcija se vrši putem API-a.

Kao bonus, pomoću Dockera uspjeli smo optimalno iskoristiti resurse na Stagingu. Svaki projekt zbog svoje specifičnosti zahtijevao je određene postavke. Fizički je bilo potrebno dodijeliti ili virtualni server s posebnim postavkama, ili podijeliti neko promjenjivo okruženje jer su projekti mogli utjecati jedan na drugi ovisno o verzijama biblioteka.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Alati. Što koristimo?

  • Sam Docker. U Dockerfile-u opisuju se ovisnosti jedne aplikacije.
  • Docker-compose je veza koja okuplja nekoliko naših Docker aplikacija.
  • GitLab koristimo za pohranu izvorne koda.
  • GitLab-CI koristimo za sustavnu integraciju.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Izvještaj se sastoji od dva dijela.

Prvi dio će govoriti o tome kako smo pokretali Docker na računalima programera.

Drugi dio će govoriti o tome kako komunicirati s GitLabom, kako pokrećemo testove i kako implementiramo na Staging.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Docker je tehnologija koja omogućuje (koristeći deklarativni pristup) opisivanje potrebnih komponenti. Ovo je primjer Dockerfile-a. Ovdje najavljujemo da nasljeđujemo službeni Docker image Ruby:2.3.0. On sadrži instaliran Ruby verzije 2.3. Instaliramo potrebne biblioteke za izradu i NodeJS. Opisujemo da stvaramo direktorij /app. Određujemo direktorij app kao radnu mapu. U tu mapu stavljamo potrebni minimalni Gemfile i Gemfile.lock. Zatim izvršavamo izgradnju projekata koji instaliraju ovisnosti ovog image-a. Navodimo da će kontejner biti spreman slušati na vanjskom portu 3000. Posljednja naredba je ona koja izravno pokreće našu aplikaciju. Ako izvršimo naredbu za pokretanje projekta, aplikacija će pokušati izvršiti i pokrenuti navedenu naredbu.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Ovo je minimalni primjer docker-compose datoteke. U ovom slučaju prikazujemo kako se uspostavlja veza između dvaju kontejnera. To su izravno usluga baze podataka i web usluga. Naše web aplikacije najčešće zahtijevaju bazu podataka kao backend za pohranu podataka. Budući da koristimo MySQL, primjer je s MySQL-om — ali ništa ne sprječava korištenje neke druge baze podataka (PostgreSQL, Redis).

Uzeli smo neizmijenjenu sliku MySQL 5.7.14 iz službenog izvora s Docker hub-a. Slika koja odgovara našoj web aplikaciji sastavlja se iz trenutne mape. Tijekom prvog pokretanja sastavlja nam sliku. Nakon toga pokreće naredbu koju ovdje izvršavamo. Ako se vratimo, vidjet ćemo da je definirana komanda za pokretanje putem Pume. Puma je usluga napisana na Ruby-u. U drugom slučaju, prepisujemo. Ova naredba može biti proizvoljna, ovisno o našim potrebama ili zadacima.

Također opisujemo da treba proslijediti port s 3000 na našoj host mašini na port kontejnera 3000. Ovo se automatski radi pomoću iptables-a i svog mehanizma koji je izravno ugrađen u Docker.

Razvijač se također može, kao i ranije, obratiti bilo kojoj dostupnoj IP adresi, na primjer, 127.0.0.1 lokalnoj ili vanjskoj IP adresi mašine.

Posljednji redak govori da web kontejner ovisi o db kontejneru. Kada pokrenemo web kontejner, prethodno će docker-compose pokrenuti našu bazu podataka. Nakon pokretanja baze podataka (zapravo — nakon pokretanja kontejnera! Osposobljenost BDP-a nije zajamčena) pokreće našu aplikaciju, naš backend.

To omogućuje izbjegavanje grešaka kada baza podataka nije podignuta i omogućuje štednju resursa kada zaustavljamo kontejner baza podataka, oslobađajući resurse za druge projekte.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Što nam daje pokretanje baze podataka putem dockerizacije u projektu. Svakome od nas razvijača fiksiramo verziju MySQL-a. Ovo omogućuje izbjegavanje nekih grešaka koje se mogu pojaviti kod razlika u verzijama kada se mijenja sintaksa, konfiguracija, zadane postavke. To nam omogućuje da navedemo zajedničke hostname za bazu podataka, login, lozinku. Odlazimo od onog zoološkog vrta imena i sukoba u config datotekama koji su postojali ranije.

Imamo mogućnost koristiti optimalniji config za razvojno okruženje, koji će se razlikovati od zadatog. MySQL je po defaultu podešen za slabe mašine i njegova performansa od samog starta je vrlo niska.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Docker omogućava korišćenje interpreter-a Python, Ruby, NodeJS, PHP potrebne verzije. Oslobađamo se potrebe za korišćenjem nekog menadžera verzija. Ranije smo koristili rpm paket za Ruby, koji je omogućavao promenu verzije zavisno od projekta. Takođe, ovo omogućava zahvaljujući Docker kontejneru, nesmetano migriranje koda i verzionisanje zajedno sa zavisnostima. Nemamo problema da razumemo verziju kako interpreter-a, tako i koda. Da bismo ažurirali verziju, potrebno je srušiti stari kontejner i podići novi kontejner. Ako nešto krene po zlu, možemo srušiti novi kontejner i podići stari kontejner.

Nakon izrade slike, kontejneri kao u razvoju, tako i u produkciji će biti identični. Ovo je posebno važno za velike instalacije.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem Na frontend-u koristimo JavaScript i NodeJS.

Trenutno je naš poslednji projekt na ReactJS-u. Razvijač je pokrenuo sve kontejnerske i razvijao koristeći hot-reload.

Zatim se pokreće zadatak za izradu JavaScript-a i kod, prikupljen u statiku, se predaje putem nginx-a štedeći resurse.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Ovde sam naveo shemu našeg poslednjeg projekta.

Koje smo zadatke rešavali? Imali smo potrebu da izgradimo sistem sa kojim komuniciraju mobilne uređaje. Oni primaju podatke. Jedna od mogućnosti je slanje push obaveštenja na taj uređaj.

Šta smo za to uradili?

Podelili smo aplikaciju na komponente kao što su: administrativni deo na JS, backend, koji radi preko REST interfejsa pod Ruby on Rails. Backend komunicira sa bazom podataka. Rezultat koji se generiše se predaje klijentu. Administracija sa backend-om i bazom podataka komunicira preko REST interfejsa.

Takođe, imali smo potrebu za slanjem Push obaveštenja. Pre toga smo imali projekat u kojem je bio realizovan mehanizam koji odgovara za dostavu obaveštenja na mobilne platforme.

Razvili smo ovakvu shemu: operater iz pretraživača komunicira sa administracijom, administracija komunicira sa backend-om, postavlja se zadatak za slanje Push obaveštenja.

Push obaveštenja komuniciraju sa drugim komponentom, koja je realizovana na NodeJS.

Grade se redovi i dalje se šalju obavijesti prema svom mehanizmu.

Ovde su prikazane dvije baze podataka. U ovom trenutku, koristeći Docker, imamo 2 nezavisne baze podataka koje nisu povezane međusobno. Osim što imaju zajedničku virtuelnu mrežu, fizički podaci se čuvaju u različitim direktorijima na mašini programera.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Isto to, ali u brojkama. Ovdje je važno ponovno korištenje koda.

Ako smo ranije govorili o ponovnom korištenju koda u obliku biblioteka, u ovom primjeru naš servis koji odgovara za Push obavijesti ponovno se koristi kao cjelokupni server. On pruža API. A s njim se već povezuje naš novi razvoj.

Tada smo koristili 4. verziju NodeJS-a. Sada (u 2017. godini — napomena urednika) u novim razvojnim projektima koristimo 7. verziju NodeJS-a. Nema problema u novim komponentama privući nove verzije biblioteka.

Ako je potrebno, može se izvršiti refaktorisanje i podići verziju NodeJS-a na servisu za Push obavijesti.

Ako uspijemo zadržati kompatibilnost s API-jem, tada ga možemo zamijeniti u drugim projektima koji su se ranije koristili.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Šta je potrebno za dodavanje Dockera? Dodajemo Dockerfile u naš repozitorij koji opisuje potrebne zavisnosti. U ovom primjeru, komponente su raspoređene prema logici. Ovo je minimalni set za backend programera.

Prilikom kreiranja novog projekta kreiramo Dockerfile, opisujemo potrebnu ekosistem (Python, Ruby, NodeJS). U docker-compose opisuju se potrebne zavisnosti — baza podataka. Opisujemo da je potrebna baza određene verzije, čuvanje podataka na određenim mjestima.

Koristimo poseban treći kontejner s nginx-om za isporuku statike. Predviđena je mogućnost učitavanja slika. Backend ih stavlja u unaprijed pripremljenu mapu koja je također montirana u kontejner s nginx-om, koji isporučuje statiku.

Da bismo sačuvali konfiguraciju nginx-a i mysql-a, dodali smo folder Docker, u kojem čuvamo potrebne konfiguracije. Kada programer izvrši git clone repozitorija na svoju mašinu, već dobija projekat spreman za lokalni razvoj. Ne postavlja se pitanje koji port ili koje postavke primijeniti.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Dalje imamo nekoliko komponenti: admin, inform-API, push-obavijesti.

Da bismo sve to pokrenuli, kreirali smo još jedan repozitorij koji smo nazvali dockerized-app. Trenutno koristimo nekoliko repozitorija za svaki komponent. Oni se samo logički razlikuju — u GitLabu to izgleda kao mapa, a na mašini programera mapa za konkretni projekt. Na nižem nivou se nalaze komponente koje će se spajati.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Ovo je primer sadržaja dockerized-app. Takođe ovde iznosimo Docker direktorij, u kojem punimo konfiguracije potrebne za interakciju svih komponenti. Tu je README.md u kojem je ukratko opisano kako pokrenuti projekt.

Ovde smo primenili dva docker-compose fajla. To je učinjeno kako bismo imali mogućnost pokretanja u fazama. Kada programer radi sa jezgrenom, ako mu nisu potrebne Push obaveštenja, jednostavno pokreće docker-compose fajl, čime se štedi resurs.

Ako postoji potreba za integracijom s Push obaveštenjima, pokreće se docker-compose.yaml i docker-compose-push.yaml.

Budući da se docker-compose.yaml i docker-compose-push.yaml nalaze u mapi, automatski se kreira jedinstvena virtuelna mreža.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Opis komponenti. Ovo je prošireni fajl koji je odgovoran za skupljanje komponenti. Što je ovde posebno? Uvodimo komponentu balansere.

To je gotova Docker slika, u kojoj se pokreće nginx i aplikacija koja osluškuje Docker socket. Dinamički, s obzirom na uključivanje i isključivanje kontejnera, regeneriše se nginx konfiguracija. Upravljač sa komponentama raspoređujemo putem domena treće razine.

Za razvojno okruženje koristimo domenu .dev — api.informer.dev. Aplikacije s domenom .dev dostupne su na lokalnoj mašini programera.

Dalje se prenose konfiguracije do svakog projekta i pokreću se svi projekti zajedno simultano.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Ako grafički prikažemo, klijent je naš brower ili neki alat kojim šaljemo zahteve na balancer.

Balancer prema imenu domena određuje kojem kontejneru treba pristupiti.

To može biti nginx, koji daje JS administraciju. To može biti nginx, koji isporučuje API ili statične fajlove, koji se isporučuju putem nginx-a kao učitavanje slika.

Na shemi se vidi da su kontejneri povezani u virtuelnu mrežu i sakriveni iza proxy-a.

Na razvojnome stroju možete pristupiti kontejneru znajući IP, no mi to u praksi ne koristimo. Potreba za izravnim pristupom praktički ne nastaje.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Koji primjer pogledati kako bi dockerizirao svoju aplikaciju? Po mom mišljenju, dobar primjer je službeni docker image za MySQL.

On je dovoljno složen. Tu je mnogo verzija. No, njegova funkcionalnost može zadovoljiti mnoge potrebe koje se mogu pojaviti tijekom daljnjeg razvoja. Ako potrošite vrijeme i shvatite kako sve to komunicira, mislim da u samostalnom implementiranju nećete imati problema.

Na hub.docker.com obično su prisutne poveznice na github.com, gdje su navedeni sirovi podaci iz kojih možete samostalno sastaviti image.

Dalje, u ovom repozitoriju postoji skripta docker-endpoint.sh, koja odgovara za inicijalizaciju i daljnju obradu pokretanja aplikacije.

Također, u ovom primjeru postoji mogućnost konfiguriranja pomoću varijabli okruženja. Određujući varijable okruženja prilikom pokretanja pojedinačnog kontejnera ili putem docker-compose, možemo reći da trebamo postaviti praznu lozinku za docker za root na MySQL ili neku drugu koju želimo.

Postoji opcija za stvaranje nasumične lozinke. Kažemo da nam je potreban korisnik, potrebno je postaviti lozinku za korisnika i potrebno je stvoriti bazu podataka.

U svojim projektima malo smo unificirali Dockerfile, koji odgovara za inicijalizaciju. Ondje smo prilagodili prema svojim potrebama kako bi proširili prava korisnika koje aplikacija koristi. To je omogućilo daljnje jednostavno stvaranje baze podataka iz konzole aplikacije. U Ruby aplikacijama postoji naredba za stvaranje, promjenu i brisanje baza podataka.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Ovo je primjer kako izgleda konkretna verzija MySQL na github.com. Dockerfile se može otvoriti i pogledati kako se tamo odvija instalacija.

docker-endpoint.sh je skripta koja odgovara za ulaznu točku. Prilikom prve inicijalizacije potrebni su određeni koraci pripreme, a svi ti koraci su izdvojeni u skriptu za inicijalizaciju.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Prelazimo na drugi dio.

Za pohranu izvornog koda prešli smo na gitlab. To je dovoljno moćan sustav koji ima vizualno sučelje.

Jedna od komponenti Gitlaba je Gitlab CI. On omogućuje opisivanje niza naredbi koje će se kasnije koristiti za organizaciju sustava za isporuku koda ili pokretanje automatskog testiranja.

Izvještaj o Gitlab CI 2 https://goo.gl/uohKjI — izvještaj iz Ruby Russia kluba — dovoljno detaljan i možda će vas zanimati.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Sada ćemo razmotriti što je potrebno za aktivaciju Gitlab CI. Da bismo pokrenuli Gitlab CI, dovoljno je u korijen projekta staviti datoteku .gitlab-ci.yml.

Ovdje opisujemo što želimo izvoditi, slijed stanja poput testiranja i implementacije.

Izvršavamo skripte koje izravno pozivaju docker-compose za izgradnju naše aplikacije. Ovo je primjer, točno backend.

Zatim kažemo da je potrebno izvršiti migracije za promjene u bazi podataka i provesti testove.

Ako se skripte izvršavaju ispravno i ne vraćaju kod pogreške, sustav prelazi na drugu fazu implementacije.

Faza implementacije trenutno je realizirana za staging. Nismo organizirali besprijekoran ponovni pokretanje.

Prisilno ugašamo sve kontejnere, a zatim ponovno podižemo sve kontejnere, sastavljene u prvoj fazi tijekom testiranja.

Izvršavamo migracije baza podataka za trenutno okruženje koje su napisali programeri.

Postoji napomena da se ovo primjenjuje samo na master granu.

Prilikom promjene drugih grana ne izvodi se.

Postoji mogućnost organizirati implementacije po granama.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Da bismo dalje to organizirali, trebamo instalirati Gitlab Runner.

Ova alatka je napisana na Golangu. Ona je jedan datoteka, kako je uobičajeno u svijetu Golanga, koja ne zahtijeva nikakve ovisnosti.

Pri pokretanju registriramo Gitlab Runner.

Dobivamo ključ u web sučelju Gitlaba.

Zatim pozivamo naredbu za inicijalizaciju u komandnoj liniji.

Postavljamo Gitlab Runner u dijaloškom modu (Shell, Docker, VirtualBox, SSH)

Kod na Gitlab Runneru će se izvršavati pri svakom commitu, ovisno o postavkama .gitlab-ci.yml.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Kako to vizualno izgleda u Gitlabu u web sučelju. Nakon što smo povezali Gitlab CI, pojavljuje nam se zastavica koja pokazuje u kojem stanju se trenutno nalazi build.

Vidimo da je prije 4 minute napravljen commit koji je prošao sve testove i nije izazvao probleme.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Možemo detaljnije pogledati gradnje. Ovdje vidimo da su prošla dva stanja. Stanje testiranja i stanje implementacije na staging.

Ako kliknemo na određenu gradnju, vidjet ćemo konzolni izlaz komandi koje su pokrenute u procesu prema .gitlab-ci.yml.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Ovako izgleda povijest našeg proizvoda. Vidimo da su bile uspješne pokušaje. Kada testovi ne prođu, sljedeći korak se ne izvršava i kod na stagingu se ne ažurira.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Koje smo zadatke rješavali na stagingu kada smo implementirali docker? Naš sustav se sastoji od komponenti i imali smo potrebu restartati samo dio komponenti koje su ažurirane u repozitoriju, a ne cijeli sustav.

Zbog toga smo morali razdvojiti sve u odvojene mape.

Nakon što smo to učinili, pojavila se poteškoća jer Docker-compose stvara svoju mrežu za svaku mapu i ne vidi susjedne komponente.

Kako bismo to zaobišli, ručno smo stvorili mrežu u Dockeru. U Docker-compose smo naveli da koristi ovu mrežu za ovaj projekt.

Na taj način svaka komponenta koja se pokreće s tom mrežom vidi komponente u drugim dijelovima sustava.

Sljedeći problem je razdvajanje staginga između nekoliko projekata.

Kako bi sve to izgledalo lijepo i što bliže produkciji, dobro je koristiti port 80 ili 443, koji se svuda koristi u WEB-u.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Kako smo to riješili? Dodijelili smo jednog Gitlab Runnera svim velikim projektima.

Gitlab omogućava pokretanje više distribuiranih Gitlab Runnera, koji jednostavno naizmjenično i nasumično preuzimaju sve zadatke i izvršavaju ih.

Kako ne bi došlo do haosa, ograničili smo grupu naših projekata na jednog Gitlab Runnera, koji se bez problema nosi s našim opterećenjima.

Izdvojili smo nginx-proxy u zaseban pokretni skript i u njemu naveli mreže svih projekata.

Naš projekt ima jednu mrežu, dok balancer ima nekoliko mreža prema nazivima projekata. Može proslijediti dalje po domenama.

Zahtevi dolaze putem domene na port 80 i preusmjeravaju se u grupu kontejnera koji poslužuju tu domenu.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Koji su još problemi bili? To je da prema zadanim postavkama svi kontejneri rade pod korisnikom root. Ovaj root nije jednak rootu host sustava.

Međutim, ako se uđe u kontejner, to će biti root, a datoteka koju kreiramo unutar tog kontejnera dobiva root prava.

Ako je programer ušao u kontejner i izvršio neke komande koje generiraju datoteke, a zatim izašao iz kontejnera, u svom radnom direktoriju ima datoteku kojoj nema pristup.

Kako to možemo riješiti? Možemo dodati korisnike koji će biti unutar kontejnera.

Koje su se probleme javile kada smo dodali korisnika?

Kada kreiramo korisnika, često se ne podudaraju ID grupe (UID) i ID korisnika (GID).

Da bismo riješili ovaj problem, u kontejneru koristimo korisnike sa ID 1000.

U našem slučaju to se podudarilo s tim da gotovo svi programeri koriste OS Ubuntu. A na OS Ubuntu prvi korisnik ima ID 1000.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Koji su naši planovi?

Ponovo pročitati dokumentaciju o Dockeru. Projekt se aktivno razvija, a dokumentacija se mijenja. Podaci koji su prikupljeni prije dva-tri mjeseca polako zastarijevaju.

Neki od problema koje smo rješavali vjerojatno su već riješeni standardnim sredstvima.

Želim dalje otići i preći direktno na orkestraciju.

Jedan od primjera je ugrađeni mehanizam u Dockeru pod nazivom Docker Swarm, koji dolazi iz kutije. Želim pokrenuti nešto u produkciji na bazi tehnologije Docker Swarm.

Generisanje kontejnera čini rad s logovima nezgodnim. Sada su logovi izolirani. Raspršeni su po kontejnerima. Jedan od zadataka je osigurati jednostavan pristup logovima putem web sučelja.

Proces razvoja i testiranja s Dockerom i GitLab CI-jem

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster