Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Predlažem da se upoznate s transkriptom izlaganja Aleksandra Sigacheva iz Inventosa "Proces razvoja i testiranja s Docker + Gitlab CI"

Oni koji tek počinju implementirati proces razvoja i testiranja temeljen na Docker + Gitlab CI često postavljaju osnovna pitanja. Odakle početi? Kako organizirati? Kako testirati?

Ovo izlaganje je dobro jer strukturirano objašnjava proces razvoja i testiranja uz korištenje Docker-a i Gitlab CI-a. Samo izlaganje je iz 2017. godine. Smatram da se iz ovog izlaganja mogu izvući osnove, metodologija, ideja i iskustvo korištenja.

Igraj video

Kome je zanimljivo, molim ispod katan.

Zovem se Aleksandar Sigachev. Radim u kompaniji Inventos. Pričaću o svom iskustvu korištenja Docker-a i o tome kako ga postupno implementiramo u projektima u kompaniji.

Tema izlaganja: Proces razvoja uz korištenje Docker-a i Gitlab CI-a.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Ovo je moje drugo izlaganje o Docker-u. U trenutku prvog izlaganja koristili smo Docker samo u razvoju na mašinama programera. Broj zaposlenika koji su koristili Docker bio je oko 2-3 osobe. Postepeno smo stekli iskustvo i malo napredovali. Link na naš prvo izlaganje.

Šta će biti u ovom izlaganju? Podelićemo iskustvo o tome koje smo zamke naišli, koje probleme smo kako rešili. Nije svuda bilo savršeno, ali je omogućilo dalji napredak.

Naš moto: Dockerizuj sve do čega dopiru naše ruke.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Koje probleme rešavamo?

Kada u kompaniji ima nekoliko timova, programer postaje deljen resurs. Dešavaju se faze kada programera izvade iz jednog projekta i dodijele ga na neki vremenski period drugom projektu.

Da bi programer brzo ušao u materiju, mora preuzeti izvorni kod projekta i što pre pokrenuti okruženje koje će mu omogućiti da nastavi sa rešavanjem zadataka ovog projekta.

Obično, ako se kreće od nule, dokumentacije u projektu se vodi malo. Informacije o tome kako podesiti, imaju samo stari članovi tima. Zaposleni obično podešavaju svoje radno mesto za jedan do dva dana. Da bismo to ubrzali, primenili smo Docker.

Sledeći razlog — to je standardizacija podešavanja u razvoju. Po mom iskustvu, programeri uvek pokazuju inicijativu. U svakom petom slučaju se uvodi prilagođeni domen, na primer vasya.dev. Pored sedi komšija Petja, koji ima domen petya.dev. Oni razvijaju sajt ili neki komponent sistema koristeći ova domena.

Kada se sistem proširi i ova imena domena počnu da se pojavljuju u konfiguracijama, dolazi do sukoba razvojnih okruženja i putanja sajta se prepisuje.

Isto se dešava i sa postavkama baze podataka. Neko se ne brine o bezbednosti i radi sa praznom root šifrom. Neko je u trenutku instalacije MySQL zahtevao šifru i šifra je bila 123. Često se dešava da se konfiguracija baze podataka neprekidno menja u zavisnosti od commit-a programera. Neko je ispravio, neko nije. Bilo je trikova, kada smo iznosili neku testnu konfiguraciju u .gitignore i svaki programer je morao da instalira bazu podataka. To je otežavalo proces pokretanja. Pored svega toga, treba se setiti i baze podataka. Bazu podataka treba inicijalizovati, treba napisati šifru, treba napisati korisnika, napraviti tabelu itd.

Još jedan od problema su različite verzije biblioteka. Često se dešava da programer radi sa različitim projektima. Postoji legacy projekat koji je započet pre pet godina (od 2017. godine — prim. ur.). U trenutku pokretanja krenuli smo sa MySQL 5.5. Tu su i savremeni projekti gde nastojimo da implementiramo modernije verzije MySQL, kao što su 5.7 ili starije (u 2017. godini — prim. ur.)

Onaj ko radi sa MySQL zna da ove biblioteke nose sa sobom zavisnosti. Prilično je problematično pokrenuti 2 baze zajedno. U najmanju ruku, starim klijentima je problematično povezati se na novu bazu podataka. To zauzvrat stvara nekoliko problema.

Sledeći problem je kada programer radi na lokalnoj mašini, koristi lokalne resurse, lokalne fajlove, lokalnu RAM. Sva interakcija tokom razvoja rešenja se dešava u okviru onoga što radi na jednoj mašini. Primer može biti kada imamo u produkciji 3 backend servera, a programer čuva fajlove u korenskom direktorijumu odakle nginx uzima fajlove za odgovor na zahtev. Kada takav kod ode u produkciju, dolazi do toga da fajl postoji na jednom od 3 servera.

Trenutno se razvija pravac mikroslužbi. Kada delimo naše velike aplikacije na manje komponente koje međusobno komuniciraju. To omogućava da odaberemo tehnologije prema specifičnoj hrpi zadataka. Takođe, to omogućava podelu rada i područja odgovornosti među programerima.

Frontend programer, radeći na JS-u, praktično ne utiče na Backend. Backend programer, s druge strane, razvija, u našem slučaju, Ruby on Rails i ne ometa Frontend. Interakcija se vrši putem API-ja.

Kao bonus, uz pomoć Dockera uspeli smo da optimizujemo resurse na Staging-u. Svaki projekat, zbog svoje specifičnosti, zahtevao je određena podešavanja. Fizički je bilo potrebno izdvojiti ili po jedan virtuelni server i posebno ih podešavati, ili deliti neko promenljivo okruženje gde su projekti mogli uticati jedni na druge zavisno od verzije biblioteka.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Alati. Šta koristimo?

  • Sam Docker. U Dockerfile-u se opisuju zavisnosti jedne aplikacije.
  • Docker-compose je veza koja okuplja nekoliko naših Docker aplikacija.
  • GitLab koristimo za čuvanje izvorne koda.
  • GitLab-CI koristimo za sistemsku integraciju.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Izveštaj se sastoji od dva dela.

Prvi deo govorio će o tome kako smo pokrenuli Docker na mašinama programera.

Drugi deo govorio će o tome kako komunicirati s GitLab-om, kako pokrećemo testove i kako privodimo kraju na Staging-u.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Docker je tehnologija koja omogućava (koristeći deklarativni pristup) da opišemo potrebne komponente. Ovo je primer Dockerfile-a. Ovde proglašavamo da nasledimo zvanični Docker imidž Ruby:2.3.0. On sadrži instalirani Ruby verzije 2.3. Instaliramo potrebne biblioteke za kompilaciju i NodeJS. Opišemo da kreiramo direktorijum /app. Postavljamo direktorijum app kao radnu direktoriju. U ovaj direktorijum stavljamo neophodni minimalni Gemfile i Gemfile.lock. Zatim izvršavamo izgradnju projekata koji instaliraju ove zavisnosti. Navodimo da će kontejner biti spreman da sluša na spoljnjem portu 3000. Poslednja komanda je komanda koja direktno pokreće našu aplikaciju. Ako izvršimo komandu za pokretanje projekta, aplikacija će pokušati da se izvrši i pokrenuće navedenu komandu.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Ovo je minimalan primjer docker-compose datoteke. U ovom slučaju prikazujemo kako dolazi do povezivanja dva kontejnera. To su direktno servis baze podataka i web servis. Naša web aplikacija u većini slučajeva zahtijeva neku bazu podataka kao backend za pohranu podataka. S obzirom na to da koristimo MySQL, primjer s MySQL-om — ali ništa ne sprječava korištenje neke druge baze podataka (PostgreSQL, Redis).

Uzeli smo sliku MySQL 5.7.14 iz službenog izvora sa Docker Huba bez izmjena. Slika koja se odnosi na našu web aplikaciju se gradi iz trenutne direktorije. Ona tijekom prvog pokretanja gradi sliku za nas. Nakon toga, pokreće komandu koju ovdje izvršavamo. Ako se vratimo unazad, vidjet ćemo da je određena komanda pokretanja preko Pume. Puma — servis napisan na Ruby-u. U drugom slučaju redefinišemo. Ova komanda može biti proizvoljna, ovisno o našim potrebama ili zadacima.

Također opisujemo da treba proslijediti port sa naše host mašine programeru sa 3000 na 3000 port kontejnera. To se automatski izvršava pomoću iptables i svog mehanizma koji je direktno ugrađen u Docker.

Programer se može, kao i ranije, obratiti bilo kojem dostupnom IP adresi, na primjer, 127.0.0.1 lokalnoj ili vanjskoj IP adresi mašine.

Posljednji redak govori da kontejner web zavisi od kontejnera db. Kada pozovemo pokretanje kontejnera web, prethodno docker-compose će pokrenuti našu bazu podataka. Nakon pokretanja baze podataka (u stvari — nakon pokretanja kontejnera! Spremnost BDP-a to ne garantuje) pokrenut će nam aplikaciju, naš backend.

To omogućava izbjegavanje grešaka kada baza podataka nije podignuta i štedi resurse kada zaustavljamo kontejner baze podataka, oslobađajući time resurse za druge projekte.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Šta nam donosi korištenje dockerizacije baze podataka u projektu. Mi kod svih programera fiksiramo verziju MySQL-a. To omogućava izbjegavanje nekih grešaka koje se mogu pojaviti zbog razlika u verzijama, kada se mijenja sintaksa, konfiguracija, defoltne postavke. To omogućava određivanje zajedničkih hostname-a za bazu podataka, login, password. Odlazimo od tog zoološkog vrta imena i konflikata u config datotekama koji su postojali ranije.

Imamo mogućnost korištenja optimiziranijeg config-a za razvojno okruženje koje će se razlikovati od defaultnog. MySQL je po defaultu podešen za slabe mašine i njegova performansa je izuzetno niska od samog početka.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Docker omogućava korištenje interpretera Python, Ruby, NodeJS, PHP potrebne verzije. Oslobađamo se potrebe korištenja nekog menadžera verzija. Ranije smo za Ruby koristili rpm paket koji je dozvoljavao promjenu verzije u zavisnosti od projekta. Također, to omogućava, zahvaljujući Docker kontejneru, da glatko migriramo kod i verzioniramo ga zajedno sa zavisnostima. Nemamo problema s razumevanjem verzije kako interpretera, tako i koda. Za ažuriranje verzije potrebno je srušiti stari kontejner i podići novi. Ako nešto krene naopako, možemo srušiti novi kontejner i ponovo podići stari.

Nakon izgradnje slike kontejneri u razvoju i produkciji će biti identični. To je posebno važno za velike instalacije.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em Na frontendu koristimo JavaScript i NodeJS.

Trenutni poslednji projekat je na ReactJS. Razvijač je pokretao sve kontejnere i razvijao koristeći hot-reload.

Dalje se pokreće zadatak za izgradnju JavaScript-a i kod, sastavljen u statiku, se isporučuje preko nginx-a, štedeći resurse.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Ovdje sam naveo šemu našeg poslednjeg projekta.

Koje probleme smo rešavali? Imali smo potrebu da izgradimo sistem sa kojim komuniciraju mobilni uređaji. Oni primaju podatke. Jedna od mogućnosti je slati push obaveštenja tim uređajima.

Šta smo na tome uradili?

Podelili smo na aplikaciju takve komponente kao što su: administratorski deo na JS, backend koji radi preko REST interfejsa pod Ruby on Rails. Backend komunicira sa bazom podataka. Rezultat koji se generiše se isporučuje klijentu. Administratorski deo komunicira sa backend-om i bazom podataka putem REST interfejsa.

Također, imali smo potrebu da šaljemo Push obaveštenja. Pre toga imali smo projekat u kojem je implementiran mehanizam koji je odgovoran za isporuku obaveštenja na mobilne platforme.

Razvili smo ovakvu šemu: operater iz preglednika komunicira sa administracijom, administracija komunicira sa backend-om, postavlja se zadatak da se pošalju Push obaveštenja.

Push obaveštenja komuniciraju sa drugim komponentom, koja je implementirana na NodeJS-u.

U redu se formiraju redovi i obavijesti se šalju prema svom mehanizmu.

Ovdje su prikazane dvije baze podataka. Trenutno koristimo 2 nezavisne baze podataka putem Dockera, koje nisu međusobno povezane. Osim što dijele zajedničku virtualnu mrežu, fizički podaci se čuvaju u različitim direktorijima na mašini developera.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Isto to, ali u brojkama. Važno je ponovno koristiti kod.

Ako smo ranije govorili o ponovnoj upotrebi koda u obliku biblioteka, u ovom primjeru naš servis koji odgovara za Push obavijesti se ponovo koristi kao kompletan server. Pruža API. A s njim komunicira naš novi razvoj.

U to vrijeme koristili smo verziju 4 NodeJS-a. Sada (u 2017. godini — prim. ur.) u novim razvojnim projektima koristimo verziju 7 NodeJS-a. Nema problema u novim komponentama privlačiti nove verzije biblioteka.

Ako je potrebno, možemo izvršiti refaktoring i podići verziju NodeJS-a za servis Push obavijesti.

Ako možemo sačuvati kompatibilnost prema API-ju, moći ćemo ga zamijeniti s drugim projektima koji su se prethodno koristili.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Šta je potrebno za dodavanje Dockera? Dodajemo u naš repozitorij Dockerfile koji opisuje potrebne zavisnosti. U ovom primjeru su komponente razdvojene prema logici. To je minimalni set za backend developera.

Pri kreiranju novog projekta kreiramo Dockerfile, opisujemo potrebnu ekosistem (Python, Ruby, NodeJS). U docker-compose opisujemo potrebnu zavisnost — bazu podataka. Opišemo koju verziju baze trebamo, da se podaci čuvaju na određenim mjestima.

Za isporuku statičkih sadržaja koristimo zaseban treći kontejner s nginx-om. Predviđena je mogućnost učitavanja slika. Backend ih stavlja u unaprijed pripremljen volum koji je također montiran u kontejner s nginx-om, koji isporučuje statiku.

Da bismo čuvali konfiguraciju nginx-a, mysql-a, dodali smo folder Docker u kojem čuvamo potrebne konfiguracije. Kada developer napravi git clone repozitorija na svoju mašinu, dobija već spreman projekat za lokalni razvoj. Nema pitanja o tome koji port ili koje postavke primijeniti.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Dalje imamo nekoliko komponenti: admin, inform-API, push-obavijesti.

Da bismo sve to pokrenuli, stvorili smo još jedan repozitorij pod imenom dockerized-app. Trenutno koristimo nekoliko repozitorija za svaki komponent. Oni se logički razlikuju — u GitLabu to izgleda kao folder, a na mašini developera kao folder za konkretni projekat. Na nižem nivou nalaze se komponente koje će se povezivati.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Ovo je primer sadržaja dockerized-app. Ovdje također izdvajamo Docker direktorij, u kojem unosimo konfiguracije potrebne za interakcije svih komponenti. Postoji README.md u kojem je ukratko opisano kako pokrenuti projekat.

Ovdje smo primenili dva docker-compose fajla. To je učinjeno kako bismo imali mogućnost pokretanja step-by-step. Kada developer radi s jezgrom, njemu nisu potrebna Push obaveštenja, pa jednostavno pokreće docker-compose fajl i tako štedi resurse.

Ako postoji potreba za integracijom s Push obaveštenjima, pokreće se docker-compose.yaml i docker-compose-push.yaml.

Pošto se docker-compose.yaml i docker-compose-push.yaml nalaze u folderu, automatski se stvara jedinstvena virtuelna mreža.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Opis komponenti. Ovo je prošireni fajl koji odgovara za skup komponenti. Šta je ovde posebno? Uvodimo komponentu ravnoteže.

Ovo je gotov Docker image, u kojem se pokreće nginx i aplikacija koja sluša Docker socket. Dinamički, dok se kontejneri uključuju i isključuju, regeneriše se nginx konfiguracija. Rukovanje komponentama vrši se prema trećim razrednim domenima.

Za razvojnu sredinu koristimo .dev domen — api.informer.dev. Aplikacije sa .dev domenom dostupne su na lokalnoj mašini developera.

Nakon toga se prenose konfiguracije za svaki projekat i pokreću svi projekti zajedno istovremeno.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Ako grafički prikažemo, klijent je naš pretraživač ili neki alat kojim šaljemo zahteve prema ravnoteži.

Ravnoteža na osnovu imena domena određuje kojem kontejneru treba da se obratite.

To može biti nginx koji isporučuje JS admin panel. To može biti nginx koji isporučuje API ili statičke fajlove koje nginx isporučuje u obliku slika.

Na dijagramu se vidi da su kontejneri spojeni u virtuelnu mrežu i sakriveni iza proxy-a.

Na mašini developera možete pristupiti kontejneru znajući IP, ali mi to u principu ne primenjujemo. Potreba za direktnim pristupom se praktično ne javlja.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Koji primer pogledati kako bi dockerizirali svoju aplikaciju? Po mom mišljenju, dobar primer je zvanična docker slika za MySQL.

On je prilično složen. Ima mnogo verzija. Ali njegova funkcionalnost omogućava pokrivanje mnogih potreba koje se mogu pojaviti tokom daljnjeg razvoja. Ako uložite vreme i shvatite kako sve to međusobno deluje, mislim da nećete imati problema s samostalnom implementacijom.

Na hub.docker.com obično su prisutne veze ka github.com, gde su dati sirovi podaci iz kojih možete sami sastaviti sliku.

Dalje u ovom repozitoriju je prisutan skript docker-endpoint.sh, koji je odgovoran za prvu inicijalizaciju i za daljnju obradu pokretanja aplikacije.

Takođe, u ovom primeru postoji mogućnost konfigurisanja pomoću promenljivih okruženja. Definišući promenljive okruženja pri pokretanju pojedinačnog kontejnera ili putem docker-compose, možemo reći da treba postaviti praznu lozinku za docker za root na MySQL ili neku koju želimo.

Postoji opcija da se kreira nasumična lozinka. Kažemo da je potrebna korisnička vrednost, da je potrebno postaviti lozinku korisniku i da je potrebno kreirati bazu podataka.

U svojim projektima smo malo unifikovali Dockerfile, koji odgovara za inicijalizaciju. Tamo smo prilagodili svoje potrebe da jednostavno proširimo prava korisnika koje aplikacija koristi. To je omogućilo jednostavno kreiranje baze podataka iz konzole aplikacije. U Ruby aplikacijama postoji komanda za kreiranje, izmene i brisanje baza podataka.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Ovo je primer kako izgleda konkretna verzija MySQL na github.com. Dockerfile se može otvoriti i videti kako se tamo vrši instalacija.

docker-endpoint.sh je skript koji odgovara za ulaznu tačku. Pri prvoj inicijalizaciji potrebne su određene radnje pripreme i sve te radnje su izdvojene u skript za inicijalizaciju.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Prelazimo na drugi deo.

Za skladištenje izvornih kodova prešli smo na gitlab. To je prilično moćan sistem koji ima vizuelni interfejs.

Jedna od komponenti Gitlab-a je Gitlab CI. Omogućava opisivanje niza komandi koje će se kasnije koristiti za organizaciju sistema isporuke koda ili pokretanje automatskog testiranja.

Izvještaj o Gitlab CI 2 https://goo.gl/uohKjI — izvještaj iz Ruby Russia kluba — dovoljno detaljan i možda će vas zanimati.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Sada ćemo razmotriti šta je potrebno da aktiviramo Gitlab CI. Da bismo pokrenuli Gitlab CI, dovoljno je da u korijenu projekta stavimo datoteku .gitlab-ci.yml.

Ovde opisujemo šta želimo da izvršimo u sledećem nizu stanja poput testiranja, implementacije.

Izvršavamo skripte koje direktno pozivaju docker-compose za gradnju naše aplikacije. Ovo je primer backend-a.

Zatim kažemo da je potrebno izvršiti migracije za promjene u bazi podataka i pokrenuti testove.

Ako se skripte izvršavaju ispravno i ne vraćaju kod greške, tada sistem prelazi u drugu fazu implementacije.

Faza implementacije trenutno je realizovana za staging. Nismo organizovali neprekidno ponovno pokretanje.

Prisilno gasimo sve kontejnere, a zatim ponovo pokrećemo sve kontejnere, sastavljene tokom prvog koraka testiranja.

Izvršavamo već za trenutno promenljivo okruženje migracije baza podataka koje su napisali programeri.

Postoji napomena da se ovo primenjuje samo na master granu.

Pri promjeni drugih grana, ne izvršava se.

Postoji mogućnost organizovanja isporuka po granama.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Da bismo to dalje organizovali, potrebno je instalirati Gitlab Runner.

Ovo je alat napisan na Golangu. Predstavlja jedinstvenu datoteku, kao što je to uobičajeno u svetu Golanga, bez potrebe za zavisnostima.

Pri pokretanju registrujemo Gitlab Runner.

Na web interfejzu Gitlab-a dobijamo ključ.

Zatim pozivamo komandu za inicijalizaciju u komandnoj liniji.

Podesimo Gitlab Runner u dijalogu (Shell, Docker, VirtualBox, SSH)

Kod na Gitlab Runner-u biće izvršen pri svakom commitu u zavisnosti od podešavanja .gitlab-ci.yml.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Kako to vizuelno izgleda u Gitlab-u na web interfejsu. Nakon što smo povezali Gitlab CI, pojavljuje nam se zastavica koja pokazuje u kojem stanju se trenutno nalazi build.

Vidimo da je pre 4 minuta napravljen commit koji je prošao sve testove i nije izazvao probleme.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Možemo detaljnije pogledati build-ove. Ovde vidimo da su prošla dva stanja: stanje testiranja i stanje postavljanja na staging.

Ako kliknemo na određeni build, tu će biti konzolni ispis komandi koje su pokrenute tokom procesa prema .gitlab-ci.yml.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Ovako izgleda istorija našeg proizvoda. Vidimo da je bilo uspešnih pokušaja. Kada testovi ne prođu, sledeći korak se ne izvršava i kod na staging-u se ne ažurira.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Koje smo zadatke rešavali na staging-u kada smo implementirali docker? Naš sistem se sastoji od komponenti i imali smo potrebu da ponovo pokrenemo samo deo komponenti koje su ažurirane u repozitorijumu, a ne ceo sistem.

Zbog toga smo morali da razdvojimo sve u posebne foldere.

Nakon što smo to uradili, imali smo problem da Docker-compose kreira svoje mrežno okruženje za svaki folder i ne vidi komponente u susedstvu.

Da bismo to zaobišli, ručno smo kreirali mrežu u Dockeru. U Docker-compose-u smo naveli da koristi tu mrežu za ovaj projekat.

Tako svaki komponent koji se pokreće na ovoj mreži vidi komponente u drugim delovima sistema.

Sledeći problem je odvajanje staging-a između više projekata.

Da bi sve to izgledalo lepo i maksimalno se približilo produkciji, dobro je koristiti port 80 ili 443, koji se koriste svuda na WEB-u.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Kako smo to rešili? Dodelili smo jednog Gitlab Runner-a svim velikim projektima.

Gitlab omogućava pokretanje više distribuiranih Gitlab Runner-a koji će jednostavno po redu, u nasumičnom redosledu, preuzimati sve zadatke i izvršavati ih.

Da ne bi došlo do haosa, ograničili smo grupu naših projekata na jednog Gitlab Runner-a, koji se bez problema nosi sa našim obimom.

Izvukli smo nginx-proxy u poseban startni skript i u njemu napisali mreže svih projekata.

Naš projekat ima jednu mrežu, dok balancer ima više mreža po imenima projekata. Može proksirati dalje po domenima.

Naši zahtevi dolaze po domenu na port 80 i usmeravaju se u grupu kontejnera koji servisira taj domen.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Koji su još problemi bili? To je da po default-u svi kontejneri rade pod korisnikom root. Ovaj root nije isti kao root host sistema.

Međutim, ako uđete u kontejner, bićete root i datoteka koju kreiramo u ovom kontejneru dobija root prava.

Ako je programer ušao u kontejner i izvršio neke komande koje kreiraju datoteke, zatim izašao iz kontejnera, onda u svojoj radnoj direktoriji ima datoteku kojoj nema pristup.

Kako se to može rešiti? Možemo dodati korisnike koji će biti unutar kontejnera.

Koji su problemi nastali kada smo dodali korisnika?

Kada kreiramo korisnika, često ne odgovaraju ID grupe (UID) i ID korisnika (GID).

Da bismo rešili ovaj problem u kontejneru, koristimo korisnike sa ID 1000.

U našem slučaju, to je odgovaralo tome da praktično svi programeri koriste OS Ubuntu. A na OS Ubuntu prvi korisnik ima ID 1000.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Koji su naši planovi?

Ponovo pročitati dokumentaciju o Docker-u. Projekat se aktivno razvija, dokumentacija se menja. Podaci koje smo dobili pre dva-tri meseca polako zastarevaju.

Neki od problema koje smo rešavali su možda već rešeni standardnim sredstvima.

Želim da idemo dalje i pređemo na orkestraciju.

Jedan od primera je ugrađeni mehanizam u Docker-u pod nazivom Docker Swarm, koji dolazi iz kutije. Želim pokrenuti nešto u proizvodnji koristeći tehnologiju Docker Swarm.

Generisanje kontejnera stvara neprijatnosti u radu sa logovima. Sada su logovi izolovani. Razbacani su po kontejnerima. Jedan od zadataka je obezbediti lak pristup logovima putem web-interfejsa.

Proces razvoja i testiranja s Dockerom i Gitlab CI-em

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster