Docker 팁: 머신의 정크 제거

헤이 하브르! 나는 기사의 번역을 당신의 관심에 제시합니다 "Docker 팁: 로컬 머신 정리" 저자 뤽 저거리.

오늘 우리는 Docker가 호스트 머신의 디스크 공간을 어떻게 사용하는지에 대해 이야기하고, 사용하지 않는 이미지와 컨테이너의 스크랩에서 이 공간을 확보하는 방법도 알아볼 것입니다.

총 소비량

Docker는 멋진 것입니다. 아마도 오늘날 의심하는 사람은 거의 없을 것입니다. 불과 몇 년 전만 해도 이 제품은 우리에게 모든 환경을 구축, 제공 및 실행할 수 있는 완전히 새로운 방법을 제공하여 CPU 및 RAM 리소스를 크게 절약할 수 있게 해주었습니다. 이 외에도(일부에게는 이것이 가장 중요할 것입니다) Docker를 사용하면 프로덕션 환경의 수명 주기 관리를 놀라울 정도로 단순화하고 통합할 수 있습니다.

그러나 현대 생활의 이러한 모든 즐거움에는 대가가 따릅니다. 컨테이너를 실행하고, 자체 이미지를 다운로드하거나 생성하고, 복잡한 생태계를 배포하려면 비용을 지불해야 합니다. 그리고 우리는 무엇보다도 디스크 공간으로 비용을 지불합니다.

Docker가 실제로 컴퓨터에서 얼마나 많은 공간을 차지하는지 생각해 본 적이 없다면 다음 명령의 출력에 불쾌하게 놀랄 수도 있습니다.

$ docker system df

이는 다양한 상황에서 Docker의 디스크 사용량을 보여줍니다.

• 이미지 – 이미지 저장소에서 다운로드되어 시스템에 구축된 이미지의 총 크기입니다.
• 컨테이너 – 컨테이너를 실행하는 데 사용되는 디스크 공간의 총량(모든 컨테이너의 읽기-쓰기 레이어의 총 볼륨을 의미)
• 로컬 볼륨 – 컨테이너에 탑재된 로컬 스토리지의 볼륨
• 빌드 캐시 – 이미지 빌드 프로세스에서 생성된 임시 파일입니다(Docker 버전 18.09부터 사용 가능한 BuildKit 도구 사용).

이 간단한 전송 후에 귀하는 디스크에서 쓰레기를 청소하고 귀중한 기가바이트를 다시 활성화하고 싶어할 것입니다(참고: 특히 매월 이 기가바이트에 대한 임대료를 지불하는 경우).

컨테이너별 디스크 사용량

호스트 시스템에서 컨테이너를 생성할 때마다 /var/lib/docker 디렉터리에 여러 파일과 디렉터리가 생성되며, 그중 다음 사항에 주목할 가치가 있습니다.

• 디렉토리 /var/lib/docker/containers/container_ID – 표준 로깅 드라이버를 사용하는 경우 이벤트 로그가 JSON 형식으로 저장되는 위치입니다. 너무 상세한 로그와 아무도 읽거나 처리하지 않는 로그로 인해 디스크가 가득 차는 경우가 많습니다.
• /var/lib/docker/overlay2 디렉터리에는 컨테이너 읽기-쓰기 계층이 포함되어 있습니다(overlay2는 대부분의 Linux 배포판에서 선호되는 드라이버입니다). 컨테이너가 파일 시스템에 데이터를 저장하는 경우 이 디렉터리에 데이터가 저장됩니다.

컨테이너를 실행하거나 이미지를 구축하는 데 전혀 관여한 적이 없는 깨끗한 Docker가 설치된 시스템을 상상해 보겠습니다. 디스크 공간 사용량 보고서는 다음과 같습니다.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         0          0          0B         0B
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

예를 들어 NGINX와 같은 일부 컨테이너를 시작하겠습니다.

$ docker container run --name www -d -p 8000:80 nginx:1.16

디스크는 어떻게 되나요?

• 이미지는 126MB를 차지하며 이는 컨테이너에서 시작한 것과 동일한 NGINX입니다.
• 컨테이너는 터무니없는 2바이트를 차지합니다.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          1          2B         0B (0%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

결론적으로 판단하면 아직 확보할 수 있는 공간이 없습니다. 2바이트는 완전히 무의미하므로 NGINX가 예기치 않게 어딘가에 100MB의 데이터를 쓰고 내부에 정확히 이 크기의 test.img 파일을 생성했다고 가정해 보겠습니다.

$ docker exec -ti www 
  dd if=/dev/zero of=test.img bs=1024 count=0 seek=$[1024*100]

호스트의 디스크 공간 사용량을 다시 살펴보겠습니다. 거기에서 컨테이너(컨테이너)가 100MB를 차지하는 것을 볼 수 있습니다.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          1          104.9MB    0B (0%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

당신의 호기심 많은 두뇌는 이미 test.img 파일이 어디에 있는지 궁금해하고 있다고 생각합니다. 그것을 찾아보자:

$ find /var/lib/docker -type f -name test.img
/var/lib/docker/overlay2/83f177...630078/merged/test.img
/var/lib/docker/overlay2/83f177...630078/diff/test.img

자세히 설명하지 않고도 test.img 파일은 오버레이2 드라이버에 의해 제어되는 읽기/쓰기 수준에 편리하게 위치한다는 점을 알 수 있습니다. 컨테이너를 중지하면 호스트는 원칙적으로 이 공간을 비울 수 있다고 알려줍니다.

# Stopping the www container
$ docker stop www

# Visualizing the impact on the disk usage
$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          0          104.9MB    104.9MB (100%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

어떻게 할 수 있나요? 컨테이너를 삭제하면 읽기-쓰기 수준에서 해당 공간이 지워집니다.

다음 명령을 사용하면 설치된 모든 컨테이너를 한 번에 제거하고 해당 컨테이너에서 생성된 모든 읽기-쓰기 파일을 디스크에서 지울 수 있습니다.

$ docker container prune
WARNING! This will remove all stopped containers.
Are you sure you want to continue? [y/N] y
Deleted Containers:
5e7f8e5097ace9ef5518ebf0c6fc2062ff024efb495f11ccc89df21ec9b4dcc2

Total reclaimed space: 104.9MB

따라서 컨테이너를 삭제하여 104,9MB를 확보했습니다. 그러나 이전에 다운로드한 이미지를 더 이상 사용하지 않기 때문에 해당 이미지는 리소스를 삭제하고 해제할 후보가 됩니다.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          0          126M       126M (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

참고: 하나 이상의 컨테이너에서 이미지를 사용하는 한 이 트릭을 사용할 수 없습니다.

위에서 사용한 prune 하위 명령은 중지된 컨테이너에만 영향을 미칩니다. 중지된 컨테이너뿐만 아니라 실행 중인 컨테이너도 삭제하려면 다음 명령 중 하나를 사용해야 합니다.

# Historical command
$ docker rm -f $(docker ps –aq)

# More recent command
$ docker container rm -f $(docker container ls -aq)

참고 사항: 컨테이너를 시작할 때 -rm 매개변수를 사용하는 경우 컨테이너가 중지되면 컨테이너가 차지했던 모든 디스크 공간이 해제됩니다.

디스크 이미지 사용

몇 년 전에는 수백 메가바이트의 이미지 크기가 완전히 정상이었습니다. Ubuntu 이미지의 무게는 600MB이고 Microsoft .Net 이미지의 무게는 수 기가바이트였습니다. 그런 혼란스러운 시절에는 이미지 하나만 다운로드하면 이미지 간에 레벨을 공유하더라도 여유 디스크 공간에 큰 타격을 줄 수 있습니다. 오늘날 – 위대함을 찬양합니다 – 이미지의 무게는 훨씬 가벼워지지만, 그럼에도 불구하고 몇 가지 예방 조치를 취하지 않으면 사용 가능한 리소스를 빠르게 채울 수 있습니다.

최종 사용자에게 직접 표시되지 않는 여러 유형의 이미지가 있습니다.

• 다른 이미지를 수집하는 데 사용되는 중간 이미지 - 이러한 "기타" 이미지를 기반으로 하는 컨테이너를 사용하는 경우 해당 이미지는 삭제할 수 없습니다.
• 댕글링 이미지는 실행 중인 컨테이너에서 참조되지 않는 중간 이미지이므로 삭제할 수 있습니다.
• 다음 명령을 사용하면 시스템에 매달린 이미지가 있는지 확인할 수 있습니다.

$ docker image ls -f dangling=true
REPOSITORY  TAG      IMAGE ID         CREATED             SIZE
none      none   21e658fe5351     12 minutes ago      71.3MB

다음과 같은 방법으로 제거할 수 있습니다.

$ docker image rm $(docker image ls -f dangling=true -q)

prune 하위 명령을 사용할 수도 있습니다:

$ docker image prune
WARNING! This will remove all dangling images.
Are you sure you want to continue? [y/N] y
Deleted Images:
deleted: sha256:143407a3cb7efa6e95761b8cd6cea25e3f41455be6d5e7cda
deleted: sha256:738010bda9dd34896bac9bbc77b2d60addd7738ad1a95e5cc
deleted: sha256:fa4f0194a1eb829523ecf3bad04b4a7bdce089c8361e2c347
deleted: sha256:c5041938bcb46f78bf2f2a7f0a0df0eea74c4555097cc9197
deleted: sha256:5945bb6e12888cf320828e0fd00728947104da82e3eb4452f

Total reclaimed space: 12.9kB

하나의 명령으로 갑자기 모든 이미지를 (단지 매달린 것이 아니라) 모두 삭제하려면 다음을 수행할 수 있습니다.

$ docker image rm $(docker image ls -q)

볼륨별 디스크 사용량

볼륨은 컨테이너의 파일 시스템 외부에 데이터를 저장하는 데 사용됩니다. 예를 들어, 다른 방법으로 사용하기 위해 애플리케이션 결과를 저장하려는 경우입니다. 일반적인 예는 데이터베이스입니다.

MongoDB 컨테이너를 시작하고, 컨테이너 외부에 볼륨을 탑재하고, 여기에서 데이터베이스 백업을 복원해 보겠습니다(bck.json 파일에서 사용 가능).

# Running a mongo container
$ docker run --name db -v $PWD:/tmp -p 27017:27017 -d mongo:4.0

# Importing an existing backup (from a huge bck.json file)
$ docker exec -ti db mongoimport 
  --db 'test' 
  --collection 'demo' 
  --file /tmp/bck.json 
  --jsonArray

데이터는 호스트 시스템의 /var/lib/docker/volumes 디렉터리에 위치합니다. 그런데 왜 컨테이너의 읽기/쓰기 수준이 아닌가? MongoDB 이미지의 Dockerfile에서 /data/db 디렉터리(MongoDB가 기본적으로 데이터를 저장하는 디렉터리)가 볼륨으로 정의되어 있기 때문입니다.

참고 사항: 데이터를 생성해야 하는 많은 이미지는 해당 데이터를 저장하기 위해 볼륨을 사용합니다.

MongoDB를 충분히 사용하고 컨테이너를 중지(또는 삭제)해도 볼륨은 삭제되지 않습니다. 다음과 같은 명령을 사용하여 명시적으로 삭제할 때까지 귀중한 디스크 공간을 계속 차지합니다.

$ docker volume rm $(docker volume ls -q)

아니면 이미 우리에게 친숙한 prune 하위 명령을 사용할 수도 있습니다.

$ docker volume prune
WARNING! This will remove all local volumes not used by at least one container.
Are you sure you want to continue? [y/N] y
Deleted Volumes:
d50b6402eb75d09ec17a5f57df4ed7b520c448429f70725fc5707334e5ded4d5
8f7a16e1cf117cdfddb6a38d1f4f02b18d21a485b49037e2670753fa34d115fc
599c3dd48d529b2e105eec38537cd16dac1ae6f899a123e2a62ffac6168b2f5f
...
732e610e435c24f6acae827cd340a60ce4132387cfc512452994bc0728dd66df
9a3f39cc8bd0f9ce54dea3421193f752bda4b8846841b6d36f8ee24358a85bae
045a9b534259ec6c0318cb162b7b4fca75b553d4e86fc93faafd0e7c77c79799
c6283fe9f8d2ca105d30ecaad31868410e809aba0909b3e60d68a26e92a094da

Total reclaimed space: 25.82GB
luc@saturn:~$

이미지 빌드 캐시에 디스크 사용

Docker 18.09에서는 BuildKit 도구 덕분에 이미지 생성 프로세스가 일부 변경되었습니다. 이를 통해 프로세스 속도가 향상되고 데이터 저장 및 보안 관리가 최적화됩니다. 여기서는 이 훌륭한 도구의 모든 세부 사항을 고려하지 않고 디스크 공간 사용 문제를 해결하는 방법에만 중점을 둘 것입니다.

완전히 간단한 Node.Js 애플리케이션이 있다고 가정해 보겠습니다.

• index.js 파일은 수신된 각 요청에 대해 한 줄로 응답하는 간단한 HTTP 서버를 시작합니다.
• package.json 파일은 HTTP 서버를 실행하는 데 expressjs만 사용되는 종속성을 정의합니다.

$ cat index.js
var express = require('express');
var util    = require('util');
var app = express();
app.get('/', function(req, res) {
  res.setHeader('Content-Type', 'text/plain');
  res.end(util.format("%s - %s", new Date(), 'Got Request'));
});
app.listen(process.env.PORT || 80);

$ cat package.json
    {
      "name": "testnode",
      "version": "0.0.1",
      "main": "index.js",
      "scripts": {
        "start": "node index.js"
      },
      "dependencies": {
        "express": "^4.14.0"
      }
    }

이미지 빌드를 위한 Dockerfile은 다음과 같습니다.

FROM node:13-alpine
COPY package.json /app/package.json
RUN cd /app && npm install
COPY . /app/
WORKDIR /app
EXPOSE 80
CMD ["npm", "start"]

BuildKit을 사용하지 않고 일반적인 방법으로 이미지를 빌드해 보겠습니다.

$ docker build -t app:1.0 .

디스크 공간 사용량을 확인하면 기본 이미지(node:13-alpine)와 대상 이미지(app:1.0)만 공간을 차지하고 있음을 알 수 있습니다.

TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         2          0          109.3MB    109.3MB (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

BuildKit을 사용하여 애플리케이션의 두 번째 버전을 빌드해 보겠습니다. 이렇게 하려면 DOCKER_BUILDKIT 변수를 1로 설정하면 됩니다.

$ DOCKER_BUILDKIT=1 docker build -t app:2.0 .

이제 디스크 사용량을 확인하면 빌드 캐시(buid-cache)가 여기에 포함되어 있음을 알 수 있습니다.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         2          0          109.3MB    109.3MB (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    11         0          8.949kB    8.949kB

이를 지우려면 다음 명령을 사용하십시오.

$ docker builder prune
WARNING! This will remove all dangling build cache.
Are you sure you want to continue? [y/N] y
Deleted build cache objects:
rffq7b06h9t09xe584rn4f91e
ztexgsz949ci8mx8p5tzgdzhe
3z9jeoqbbmj3eftltawvkiayi

Total reclaimed space: 8.949kB

모두 지우세요!

그래서 우리는 컨테이너, 이미지, 볼륨이 차지하는 디스크 공간을 정리하는 방법을 살펴보았습니다. prune 하위 명령이 이를 도와줍니다. 그러나 Docker 시스템 수준에서도 사용할 수 있으며 가능한 모든 것을 정리합니다.

$ docker system prune
WARNING! This will remove:
  - all stopped containers
  - all networks not used by at least one container
  - all dangling images
  - all dangling build cache

Are you sure you want to continue? [y/N]

어떤 이유로 Docker 머신의 디스크 공간을 절약하려는 경우 정기적으로 이 명령을 실행하는 것이 습관이 되어야 합니다.

출처 : habr.com