Docker: ne štetni saveti

U komentarima na moj članak Docker: loši saveti bilo je mnogo zahtjeva da objasnim zašto je opisani Dockerfile tako loš.

Kratak sadržaj prethodne serije: dva razvojna inženjera pod strogo definisanom rokovima kreiraju Dockerfile. Tokom procesa do njih dolazi Ops Igor Ivanovič. Konačni Dockerfile je toliko loš da je AI na ivici infarkta.

Docker: ne štetni saveti

Sada ćemo razumeti šta nije u redu s ovim Dockerfile.

Dakle, prošla je nedelja.

Dev Petja se sastaje u kafeteriji sa Ops Igorom Ivanovičem na kafi.

P: Igore Ivanoviču, jeste li jako zauzeti? Htio bih da shvatim gde smo pogriješili.

II: To je dobro, nije često sresti programere koji su zainteresovani za eksploataciju.
Za početak, dogovorimo se o nekim stvarima:

  1. Ideologija Dockera: jedan kontejner — jedan proces.
  2. Što je kontejner manji, to je bolje.
  3. Što više uzimate iz keša, to je bolje.

P: A zašto u jednom kontejneru mora biti jedan proces?

II: Docker prati stanje procesa sa pid 1 prilikom pokretanja kontejnera. Ako proces umre, Docker će pokušati ponovo pokrenuti kontejner. Na primer, ako imate više aplikacija pokrenutih unutar kontejnera ili je glavna aplikacija pokrenuta ne sa pid 1. Ako proces umre, Docker to neće saznati.

Ako više nema pitanja, pokaži vaš Dockerfile.

I Petja je pokazao:

FROM ubuntu:latest

# Kopiramo izvorni kod
COPY .\/ \/app
WORKDIR \/app

# Ažuriramo spisak paketa
RUN apt-get update 

# Ažuriramo pakete
RUN apt-get upgrade

# Instaliramo potrebne pakete
RUN apt-get -y install libpq-dev imagemagick gsfonts ruby-full ssh supervisor

# Instaliramo bundler
RUN gem install bundler

# Instaliramo nodejs koji se koristi za izradu statike
RUN curl -sL https:\/\/deb.nodesource.com\/setup_9.x | sudo bash -
RUN apt-get install -y nodejs

# Instaliramo zavisnosti
RUN bundle install --without development test --path vendor\/bundle

# Čistimo keš
RUN rm -rf \/usr\/local\/bundle\/cache\/*.gem 
RUN apt-get clean 
RUN rm -rf \/var\/lib\/apt\/lists\/* \/tmp\/* \/var\/tmp\/* 
RUN rake assets:precompile
# Pokrećemo skriptu prilikom pokretanja kontejnera, koja će pokrenuti sve ostalo.
CMD ["\/app\/init.sh"]

II: Oh, hajde da krenemo redom. Počnimo od prve linije:

FROM ubuntu:latest

Uzimate tag latest. Korišćenje taga latest može dovesti do nepredvidivih posledica. Zamislite, glavni održavač slike izgrađuje novu verziju slike sa drugačijim spiskom softvera, ova slika dobija tag latest. U najboljem slučaju, vaš kontejner prestaje da se gradi, a u najgorem slučaju se suočavate sa greškama koje ranije nisu postojale.

Uzimate sliku sa operativnim sistemom punim suvišnih aplikacija, što povećava veličinu kontejnera. A što više aplikacija, to više rupa i ranjivosti.

Pored toga, što je slika veća, više prostora zauzima na hostu i u registru (ti negde čuvaš slike)?

P: Da, naravno, imamo registarski sistem, vi ste ga i postavljali.

AI: Tako, o čemu sam to govorio?.. Ah da, veličine… Takođe se povećava opterećenje na mreži. Za jednu sliku to je neprimetno, ali kada se stalno gradite, testirate i deploy-ate, to postaje očigledno. A ako nemate Božanski mod na AWS-u, dobićete još i astronomski račun.

Zato je potrebno izabrati najprikladniju sliku, sa tačnom verzijom i minimalnim softverom. Na primer, uzmi: FROM ruby:2.5.5-stretch

P: Oh, razumem. A kako i gde mogu da pogledam dostupne slike? Kako da shvatim koja mi je potrebna?

AI: Obično se slike preuzimaju sa Docker Hub-a, ne mešaj sa Pornhub-om :). Za sliku obično postoji nekoliko izdanja:
Alpine: slike su sa minimalnim Linux imidžem, ukupne veličine 5 MB. Njegov nedostatak je što je sastavljen sa sopstvenom implementacijom libc, standardni paketi u njemu ne rade. Potrošićeš dosta vremena na pronalaženje i instalaciju potrebnog paketa.
Scratch: osnovna slika, koja se ne koristi za izradu drugih slika. Namenjena je isključivo za pokretanje binarnih, pripremljenih podataka. Savršeno je pogodna za pokretanje binarnih aplikacija koje uključuju sve što je potrebno, na primer go-aplikacije.
Na bazi neke operativnog sistema, poput Ubuntua ili Debiana. Mislim da ovde ne treba dodatno objašnjavati.

AI: Sada moramo instalirati sve dodatne pakete i očistiti među skladištenim podacima. I odmah možemo izbaciti apt-get upgrade. Inače, prilikom svake gradnje, bez obzira na fiksni tag osnovnog imidža, dobićeš različite slike. Ažuriranje paketa u slici je zadatak održavaoca, koje dolazi sa promenom taga.

P: Da, pokušao sam to da uradim, ispalo je ovako:

WORKDIR /app
COPY ./ /app

RUN curl -sL https://deb.nodesource.com/setup_9.x | bash - 
    && apt-get -y install libpq-dev imagemagick gsfonts ruby-full ssh supervisor nodejs 
    && gem install bundler 
    && bundle install --without development test --path vendor/bundle

RUN rm -rf /usr/local/bundle/cache/*.gem 
    && apt-get clean  
    && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

AI: Nije loše, ali ovde ima još prostora za rad. Gledaj, ova komanda:

RUN rm -rf /usr/local/bundle/cache/*.gem 
    && apt-get clean  
    && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*  

… ne briše podatke iz konačne slike, već samo stvara dodatni sloj bez tih podataka. Tako je ispravno:

RUN curl -sL https://deb.nodesource.com/setup_9.x | bash - 
    && apt-get -y install libpq-dev imagemagick gsfonts nodejs 
    && gem install bundler 
    && bundle install --without development test --path vendor/bundle   
    && rm -rf /usr/local/bundle/cache/*.gem 
    && apt-get clean  
    && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/* 

Ali to nije sve. Šta imaš tamo, Ruby? Onda nije potrebno kopirati ceo projekat na početku. Dovoljno je da kopiraš Gemfile i Gemfile.lock.

Sa ovim pristupom, bundle install se neće pokretati pri svakoj promeni izvornih datoteka, već samo ako su se promenili Gemfile ili Gemfile.lock.

Iste metode rade i za druge jezike sa menadžerima zavisnosti, poput npm, pip, composer i drugih koji se zasnivaju na datoteci sa listom zavisnosti.

I na kraju, sećaš li se, na početku sam govorio o ideologiji Dockera 'jedan kontejner — jedan proces'? To znači da supervisor nije potreban. Takođe ne treba instalirati systemd, iz istih razloga. U suštini, Docker je sam supervisor. Kada pokušavaš da pokreneš više procesa u njemu, to je kao da u jednom procesu supervisora pokrećeš više aplikacija.
Tokom izrade, napravićeš jedinstvenu sliku, a zatim pokrenuti željeni broj kontejnera, da u svakom radi jedan proces.

Ali o tome kasnije.

P: Čini se da sam razumeo. Pogledajmo šta dobijamo:

FROM ruby:2.5.5-stretch

WORKDIR /app
COPY Gemfile* /app

RUN curl -sL https://deb.nodesource.com/setup_9.x | bash - 
    && apt-get -y install libpq-dev imagemagick gsfonts nodejs 
    && gem install bundler 
    && bundle install --without development test --path vendor/bundle   
    && rm -rf /usr/local/bundle/cache/*.gem 
    && apt-get clean  
    && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/* 

COPY . /app
RUN rake assets:precompile

CMD ["bundle", "exec", "passenger", "start"]

A kako ćemo preinačiti pokretanje demona pri pokretanju kontejnera?

AI: Da, potpuno tačno. Uostalom, možeš koristiti i CMD i ENTRYPOINT. A da shvatiš u čemu se razlikuju, to ti je domaći zadatak. O ovoj temi na Habru ima dobrih članak.

Dakle, idemo dalje. Preuzimaš datoteku za instalaciju node, ali pritom nema nikakve garancije da će sadržati ono što ti treba. Moramo dodati validaciju. Na primer, ovako:

RUN curl -sL https://deb.nodesource.com/setup_9.x > setup_9.x
    && echo "958c9a95c4974c918dca773edf6d18b1d1a41434  setup_9.x" | sha1sum -c -
    && bash  setup_9.x
    && rm -rf setup_9.x
    && apt-get -y install libpq-dev imagemagick gsfonts nodejs
    && gem install bundler
    && bundle install --without development test --path vendor/bundle
    && rm -rf /usr/local/bundle/cache/*.gem
    && apt-get clean
    && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/* 

Zahvaljujući kontrolnoj sumi, možeš provjeriti da li si preuzeo ispravan fajl.

P: Ali ako se fajl promijeni, gradnja će propasti.

AI: Da, i kao što je čudno, to je također plus. Saznat ćeš da se fajl promijenio i moći ćeš vidjeti šta su izmijenili. Nije loše, recimo, da su dodali skriptu koja briše sve do čega dođe ili napravi bbackdoor.

P: Hvala. Dakle, konačni Dockerfile će izgledati ovako:

FROM ruby:2.5.5-stretch

WORKDIR /app
COPY Gemfile* /app

RUN curl -sL https://deb.nodesource.com/setup_9.x > setup_9.x
    && echo "958c9a95c4974c918dca773edf6d18b1d1a41434  setup_9.x" | sha1sum -c -
    && bash  setup_9.x
    && rm -rf setup_9.x
    && apt-get -y install libpq-dev imagemagick gsfonts nodejs
    && gem install bundler
    && bundle install --without development test --path vendor/bundle
    && rm -rf /usr/local/bundle/cache/*.gem
    && apt-get clean
    && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

COPY . /app
RUN rake assets:precompile

CMD ["bundle", "exec", "passenger", "start"]

P: Igor Ivanoviču, hvala na pomoći. Već moram poći, trebam još 10 commitova danas napraviti.

Igor Ivanovič, zaustavljajući svog požurivog kolegu pogledom, pije gutljaj jake kafe. Razmišljajući nekoliko sekundi o SLA 99.9% i kodu bez grešaka, postavlja pitanje.

AI: Gdje čuvate logove?

P: Naravno, u production.log. Inače, kako ćemo do njih doći bez ssh?

AI: Ako ih ostavite u fajlovima, već su smislili rješenje za vas. Komanda docker exec omogućuje izvođenje bilo koje komande u kontejneru. Na primjer, možete uraditi cat za logove. A koristeći opciju -it i pokrenuvši bash (ako je instaliran u kontejneru), dobićete interaktivni pristup kontejneru.

Ali ne treba čuvati logove u fajlovima. To dovodi do nekontrolisanog rasta kontejnera, jer niko ne rotira logove. Svi logovi trebaju ići u stdout. Tamo ih već možete pogledati pomoću komande docker logs.

P: Igor Ivanoviču, možda bi trebalo iznijeti logove u montiranu direktoriju, na fizičku nodu, kao podatke korisnika?

AI: Dobro je što niste zaboravili iznijeti podatke sa diska nodi. Takođe je moguće sa logovima, samo ne zaboravite postaviti rotaciju.
Sve, možeš poći.

P: Igor Ivanović, možete li preporučiti šta da pročitam?

II: Za početak, pročitaj preporuke od developera Dockera, teško da iko zna Docker bolje od njih.

A ako želiš da prođeš kroz praksu, idi na intenzivni kurs. Jer teorija bez prakse je mrtva.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster