Доцкер савети: Очистите своју машину од смећа

Здраво, Хабр! Представљам вашој пажњи превод чланка „Савети за Доцкер: Очистите своју локалну машину“ аутор Луц Југгери.

Данас ћемо причати о томе како Доцкер користи простор на диску хост машине, а такође ћемо схватити како да ослободимо овај простор од остатака неискоришћених слика и контејнера.

Укупна потрошња

Доцкер је кул ствар, вероватно мало ко данас сумња у то. Пре само неколико година, овај производ нам је дао потпуно нов начин за изградњу, испоруку и покретање било ког окружења, омогућавајући нам да значајно уштедимо ЦПУ и РАМ ресурсе. Поред овога (а за неке ће то бити најважније), Доцкер нам је омогућио да невероватно поједноставимо и објединимо управљање животним циклусом производних окружења које користимо.

Међутим, све ове ужитке савременог живота имају своју цену. Када покрећемо контејнере, преузимамо или креирамо сопствене слике и постављамо сложене екосистеме, морамо да платимо. А плаћамо, између осталог, и простором на диску.

Ако никада нисте размишљали о томе колико простора Доцкер заправо заузима на вашој машини, можда ћете бити непријатно изненађени резултатом ове команде:

$ docker system df

Ово показује употребу диска Доцкер-а у различитим контекстима:

• слике – укупна величина слика које су преузете из складишта слика и изграђене на вашем систему;
• контејнери – укупна количина простора на диску који се користи за покретање контејнера (што значи укупан обим слојева читања и писања свих контејнера);
• локални волумени – запремина локалног складишта монтираног на контејнере;
• буилд цацхе – привремене датотеке генерисане процесом изградње слике (помоћу алата БуилдКит, доступног почевши од Доцкер верзије 18.09).

Кладим се да сте након овог једноставног преноса жељни да очистите свој диск од смећа и вратите драгоцене гигабајте у живот (напомена: посебно ако плаћате кирију за ове гигабајте сваког месеца).

Коришћење диска по контејнерима

Сваки пут када креирате контејнер на главној машини, неколико датотека и директоријума се креира у директоријуму /вар/либ/доцкер, међу којима је вредно напоменути следеће:

• Директоријум /вар/либ/доцкер/цонтаинерс/цонтаинер_ИД – када користите стандардни драјвер за евидентирање, овде се чувају евиденције догађаја у ЈСОН формату. Превише детаљни дневники, као и евиденције које нико не чита или на други начин обрађује, често доводе до пуњења дискова.
• Директоријум /вар/либ/доцкер/оверлаи2 садржи слојеве за читање и уписивање контејнера (оверлаи2 је преферирани драјвер у већини Линук дистрибуција). Ако контејнер складишти податке у свом систему датотека, онда ће он бити смештен у овај директоријум.

Хајде да замислимо систем на коме је инсталиран нетакнути Доцкер, који никада није био укључен у покретање контејнера или прављење слика. Његов извештај о коришћењу простора на диску ће изгледати овако:

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         0          0          0B         0B
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

Хајде да покренемо неки контејнер, на пример, НГИНКС:

$ docker container run --name www -d -p 8000:80 nginx:1.16

Шта се дешава са диском:

• слике заузимају 126 МБ, ово је исти НГИНКС који смо покренули у контејнеру;
• контејнери заузимају смешна 2 бајта.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          1          2B         0B (0%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

Судећи по закључку, још немамо простор који бисмо могли да ослободимо. Пошто су 2 бајта потпуно неозбиљна, замислимо да је наш НГИНКС неочекивано написао негде 100 мегабајта података и направио датотеку тест.имг тачно ове величине унутар себе.

$ docker exec -ti www 
  dd if=/dev/zero of=test.img bs=1024 count=0 seek=$[1024*100]

Хајде да поново испитамо коришћење простора на диску на хосту. Видећемо да контејнер (контејнери) тамо заузима 100 мегабајта.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          1          104.9MB    0B (0%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

Мислим да се ваш радознали мозак већ пита где се налази наш тест.имг фајл. Хајде да га потражимо:

$ find /var/lib/docker -type f -name test.img
/var/lib/docker/overlay2/83f177...630078/merged/test.img
/var/lib/docker/overlay2/83f177...630078/diff/test.img

Не улазећи у детаље, можемо приметити да је датотека тест.имг на згодном месту на нивоу читања и писања, коју контролише оверлаи2 драјвер. Ако зауставимо наш контејнер, домаћин ће нам рећи да овај простор у принципу може да се ослободи:

# Stopping the www container
$ docker stop www

# Visualizing the impact on the disk usage
$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          0          104.9MB    104.9MB (100%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

Како можемо ово да урадимо? Брисањем контејнера, што ће подразумевати брисање одговарајућег простора на нивоу читања и писања.

Са следећом командом, можете уклонити све инсталиране контејнере у једном налету и очистити диск од свих датотека за читање и уписивање које су креирали:

$ docker container prune
WARNING! This will remove all stopped containers.
Are you sure you want to continue? [y/N] y
Deleted Containers:
5e7f8e5097ace9ef5518ebf0c6fc2062ff024efb495f11ccc89df21ec9b4dcc2

Total reclaimed space: 104.9MB

Дакле, ослободили смо 104,9 мегабајта брисањем контејнера. Али пошто више не користимо претходно преузету слику, она такође постаје кандидат за брисање и ослобађање наших ресурса:

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          0          126M       126M (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

Напомена: Све док слику користи бар један контејнер, нећете моћи да користите овај трик.

Подкоманда пруне коју смо користили изнад има ефекат само на заустављене контејнере. Ако желимо да избришемо не само заустављене већ и покренуте контејнере, требало би да користимо једну од ових команди:

# Historical command
$ docker rm -f $(docker ps –aq)

# More recent command
$ docker container rm -f $(docker container ls -aq)

Споредне напомене: ако користите параметар -рм приликом покретања контејнера, онда када се заустави, сав простор на диску који је заузимао биће ослобођен.

Коришћење слика диска

Пре неколико година, величина слике од неколико стотина мегабајта била је сасвим нормална: Убунту слика је била тешка 600 мегабајта, а Мицрософт .Нет слика неколико гигабајта. У тим отрцаним данима, преузимање само једне слике могло би да узме велики данак на вашем слободном диску, чак и ако делите нивое између слика. Данас – свака част – слике теже много мање, али чак и тако, можете брзо попунити расположиве ресурсе ако не предузмете неке мере предострожности.

Постоји неколико типова слика које нису директно видљиве крајњем кориснику:

• средње слике, на основу којих се прикупљају друге слике - оне се не могу избрисати ако користите контејнере на основу ових „других“ слика;
• висеће слике су средње слике на које се не позива ниједан од активних контејнера - могу се избрисати.
• Са следећом командом можете да проверите да ли постоје висеће слике на вашем систему:

$ docker image ls -f dangling=true
REPOSITORY  TAG      IMAGE ID         CREATED             SIZE
none      none   21e658fe5351     12 minutes ago      71.3MB

Можете их уклонити на следећи начин:

$ docker image rm $(docker image ls -f dangling=true -q)

Такође можемо користити подкоманду пруне:

$ docker image prune
WARNING! This will remove all dangling images.
Are you sure you want to continue? [y/N] y
Deleted Images:
deleted: sha256:143407a3cb7efa6e95761b8cd6cea25e3f41455be6d5e7cda
deleted: sha256:738010bda9dd34896bac9bbc77b2d60addd7738ad1a95e5cc
deleted: sha256:fa4f0194a1eb829523ecf3bad04b4a7bdce089c8361e2c347
deleted: sha256:c5041938bcb46f78bf2f2a7f0a0df0eea74c4555097cc9197
deleted: sha256:5945bb6e12888cf320828e0fd00728947104da82e3eb4452f

Total reclaimed space: 12.9kB

Ако одједном желимо да избришемо све слике заједно (а не само да висе) једном командом, онда можемо да урадимо ово:

$ docker image rm $(docker image ls -q)

Коришћење диска по запреминама

Волуми се користе за складиштење података изван система датотека контејнера. На пример, ако желимо да сачувамо резултате апликације да бисмо их користили на неки други начин. Чест пример су базе података.

Хајде да покренемо МонгоДБ контејнер, монтирамо волумен изван контејнера и вратимо резервну копију базе података из њега (имамо је доступну у датотеци бцк.јсон):

# Running a mongo container
$ docker run --name db -v $PWD:/tmp -p 27017:27017 -d mongo:4.0

# Importing an existing backup (from a huge bck.json file)
$ docker exec -ti db mongoimport 
  --db 'test' 
  --collection 'demo' 
  --file /tmp/bck.json 
  --jsonArray

Подаци ће се налазити на главној машини у директоријуму /вар/либ/доцкер/волумес. Али зашто не на нивоу читања и писања контејнера? Зато што је у Доцкерфиле-у слике МонгоДБ, директоријум /дата/дб (где МонгоДБ подразумевано складишти своје податке) је дефинисан као волумен.

Напомена: многе слике које морају да произведу податке користе запремине за складиштење тих података.

Када се довољно играмо са МонгоДБ-ом и зауставимо (или можда чак избришемо) контејнер, волумен неће бити избрисан. Наставиће да заузима наш драгоцени простор на диску све док га експлицитно не избришемо командом попут ове:

$ docker volume rm $(docker volume ls -q)

Па, или можемо користити подкоманду пруне која нам је већ позната:

$ docker volume prune
WARNING! This will remove all local volumes not used by at least one container.
Are you sure you want to continue? [y/N] y
Deleted Volumes:
d50b6402eb75d09ec17a5f57df4ed7b520c448429f70725fc5707334e5ded4d5
8f7a16e1cf117cdfddb6a38d1f4f02b18d21a485b49037e2670753fa34d115fc
599c3dd48d529b2e105eec38537cd16dac1ae6f899a123e2a62ffac6168b2f5f
...
732e610e435c24f6acae827cd340a60ce4132387cfc512452994bc0728dd66df
9a3f39cc8bd0f9ce54dea3421193f752bda4b8846841b6d36f8ee24358a85bae
045a9b534259ec6c0318cb162b7b4fca75b553d4e86fc93faafd0e7c77c79799
c6283fe9f8d2ca105d30ecaad31868410e809aba0909b3e60d68a26e92a094da

Total reclaimed space: 25.82GB
luc@saturn:~$

Коришћење диска за кеш за прављење слика

У Доцкер-у 18.09, процес креирања слике је претрпео неке промене захваљујући алату БуилдКит. Ова ствар повећава брзину процеса и оптимизује складиштење података и управљање безбедношћу. Овде нећемо разматрати све детаље овог дивног алата; фокусираћемо се само на то како се бави проблемима коришћења простора на диску.

Рецимо да имамо потпуно једноставну Ноде.Јс апликацију:

• датотека индек.јс покреће једноставан ХТТП сервер који одговара линијом на сваки примљени захтев:
• датотека пацкаге.јсон дефинише зависности, од којих се само екпрессјс користи за покретање ХТТП сервера:

$ cat index.js
var express = require('express');
var util    = require('util');
var app = express();
app.get('/', function(req, res) {
  res.setHeader('Content-Type', 'text/plain');
  res.end(util.format("%s - %s", new Date(), 'Got Request'));
});
app.listen(process.env.PORT || 80);

$ cat package.json
    {
      "name": "testnode",
      "version": "0.0.1",
      "main": "index.js",
      "scripts": {
        "start": "node index.js"
      },
      "dependencies": {
        "express": "^4.14.0"
      }
    }

Доцкерфиле за прављење слике изгледа овако:

FROM node:13-alpine
COPY package.json /app/package.json
RUN cd /app && npm install
COPY . /app/
WORKDIR /app
EXPOSE 80
CMD ["npm", "start"]

Хајде да направимо слику на уобичајен начин, без употребе БуилдКит-а:

$ docker build -t app:1.0 .

Ако проверимо коришћење простора на диску, можемо видети да само основна слика (чвор:13-алпине) и циљна слика (апп:1.0) заузимају простор:

TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         2          0          109.3MB    109.3MB (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

Хајде да направимо другу верзију наше апликације, користећи БуилдКит. Да бисмо то урадили, само треба да подесимо променљиву ДОЦКЕР_БУИЛДКИТ на 1:

$ DOCKER_BUILDKIT=1 docker build -t app:2.0 .

Ако сада проверимо коришћење диска, видећемо да је кеш за изградњу (буид-цацхе) сада укључен тамо:

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         2          0          109.3MB    109.3MB (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    11         0          8.949kB    8.949kB

Да бисте га обрисали, користите следећу команду:

$ docker builder prune
WARNING! This will remove all dangling build cache.
Are you sure you want to continue? [y/N] y
Deleted build cache objects:
rffq7b06h9t09xe584rn4f91e
ztexgsz949ci8mx8p5tzgdzhe
3z9jeoqbbmj3eftltawvkiayi

Total reclaimed space: 8.949kB

Избриши све!

Дакле, погледали смо чишћење простора на диску који заузимају контејнери, слике и волумени. У томе нам помаже поткоманда пруне. Али може се користити и на нивоу система доцкер и очистиће све што може:

$ docker system prune
WARNING! This will remove:
  - all stopped containers
  - all networks not used by at least one container
  - all dangling images
  - all dangling build cache

Are you sure you want to continue? [y/N]

Ако из неког разлога штедите простор на диску на машини на којој ради Доцкер, периодично извршавање ове команде требало би да постане навика.

Извор: ввв.хабр.цом