טיפים למעגן: נקה את המחשב שלך מהזבל

היי הבר! אני מציג לתשומת לבך את התרגום של המאמר "טיפים לדוקר: נקה את המכונה המקומית שלך" המחבר לוק ג'וגרי.

היום נדבר על האופן שבו Docker משתמש בשטח הדיסק של המחשב המארח, וגם נבין כיצד לשחרר את השטח הזה משאריות של תמונות ומכולות שאינן בשימוש.

סך הצריכה

דוקר הוא דבר מגניב, כנראה שמעט אנשים מפקפקים בו היום. רק לפני מספר שנים, המוצר הזה נתן לנו דרך חדשה לחלוטין לבנות, לספק ולהפעיל כל סביבה, מה שאפשר לנו לחסוך משמעותית במשאבי מעבד ו-RAM. בנוסף לכך (ועבור חלק זה יהיה הדבר החשוב ביותר) Docker אפשרה לנו לפשט ולאחד בצורה מדהימה את ניהול מחזור החיים של סביבות הייצור שלנו.

עם זאת, לכל התענוגות הללו של החיים המודרניים יש מחיר. כשאנחנו מפעילים קונטיינרים, מורידים או יוצרים תמונות משלנו ופורסים מערכות אקולוגיות מורכבות, אנחנו צריכים לשלם. ואנחנו משלמים, בין היתר, עם שטח דיסק.

אם מעולם לא חשבת על כמה מקום Docker תופס בפועל במחשב שלך, אתה עלול להיות מופתע באופן לא נעים מהפלט של הפקודה הזו:

$ docker system df

זה מציג את השימוש בדיסק של Docker בהקשרים שונים:

• תמונות - הגודל הכולל של תמונות שהורדו ממאגרי תמונות ונבנו על המערכת שלך;
• קונטיינרים - הכמות הכוללת של שטח הדיסק המשמש להפעלת קונטיינרים (כלומר הנפח הכולל של שכבות קריאה-כתיבה של כל הקונטיינרים);
• נפחים מקומיים - נפח האחסון המקומי המותקן על מכולות;
• build cache – קבצים זמניים שנוצרו על ידי תהליך בניית התמונה (באמצעות הכלי BuildKit, זמין החל מגרסה 18.09 של Docker).

אני מתערב שאחרי ההעברה הפשוטה הזו אתה להוט לנקות את הדיסק שלך מאשפה ולהחזיר לחיים ג'יגה-בייט יקרים (שימו לב: במיוחד אם אתה משלם דמי שכירות עבור הג'יגה-בייט האלה מדי חודש).

שימוש בדיסק על ידי מכולות

בכל פעם שאתה יוצר קונטיינר במחשב המארח, נוצרים מספר קבצים וספריות בספריית /var/lib/docer, ביניהם ראוי לציין את הדברים הבאים:

• Directory /var/lib/docer/containers/container_ID - בעת שימוש במנהל ההתקן הרגיל של רישום, זה המקום שבו יומני אירועים נשמרים בפורמט JSON. יומנים מפורטים מדי, כמו גם יומנים שאף אחד לא קורא או מעבד בדרך אחרת, גורמים לרוב לדיסקים להתמלא.
• הספרייה /var/lib/docer/overlay2 מכילה את שכבות ה-container read-write (overlay2 הוא מנהל ההתקן המועדף ברוב ההפצות של לינוקס). אם הקונטיינר מאחסן נתונים במערכת הקבצים שלו, אז הוא ימוקם בספרייה הזו.

בואו נדמיין מערכת שעליה מותקן Docker בתולי, שמעולם לא הייתה מעורבת בשיגור מכולות או בניית תמונות. דוח השימוש בשטח הדיסק שלו ייראה כך:

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         0          0          0B         0B
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

בואו נשיק איזה מיכל, למשל, NGINX:

$ docker container run --name www -d -p 8000:80 nginx:1.16

מה קורה לדיסק:

• תמונות תופסות 126 מגה-בייט, זהו אותו NGINX שהשקנו בקונטיינר;
• מיכלים תופסים 2 בתים מגוחכים.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          1          2B         0B (0%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

אם לשפוט לפי המסקנה, עדיין אין לנו מקום שנוכל לפנות. מכיוון ש-2 בתים זה קליל לחלוטין, בואו נדמיין שה-NGINX שלנו כתב באופן בלתי צפוי איפשהו 100 מגה-בייט של נתונים ויצר קובץ test.img בדיוק בגודל הזה בתוך עצמו.

$ docker exec -ti www 
  dd if=/dev/zero of=test.img bs=1024 count=0 seek=$[1024*100]

הבה נבחן שוב את השימוש בשטח הדיסק במארח. נראה שהמכולה (המכולות) תופסת שם 100 מגה-בייט.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          1          104.9MB    0B (0%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

אני חושב שהמוח הסקרן שלך כבר תוהה היכן נמצא הקובץ test.img שלנו. בוא נחפש את זה:

$ find /var/lib/docker -type f -name test.img
/var/lib/docker/overlay2/83f177...630078/merged/test.img
/var/lib/docker/overlay2/83f177...630078/diff/test.img

מבלי להיכנס לפרטים, אנו יכולים לציין שקובץ test.img ממוקם בצורה נוחה ברמת קריאה-כתיבה, נשלטת על ידי מנהל ההתקן overlay2. אם נעצור את המיכל שלנו, המארח יגיד לנו שניתן, באופן עקרוני, לפנות את השטח הזה:

# Stopping the www container
$ docker stop www

# Visualizing the impact on the disk usage
$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          0          104.9MB    104.9MB (100%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

איך אנחנו יכולים לעשות את זה? על ידי מחיקת המיכל, שתגרום לניקוי השטח המתאים ברמת הקריאה-כתיבה.

עם הפקודה הבאה, אתה יכול להסיר את כל הקונטיינרים המותקנים במכה אחת ולנקות את הדיסק שלך מכל קבצי הקריאה-כתיבה שנוצרו על ידם:

$ docker container prune
WARNING! This will remove all stopped containers.
Are you sure you want to continue? [y/N] y
Deleted Containers:
5e7f8e5097ace9ef5518ebf0c6fc2062ff024efb495f11ccc89df21ec9b4dcc2

Total reclaimed space: 104.9MB

אז, שחררנו 104,9 מגה-בייט על ידי מחיקת המיכל. אבל מכיוון שאנחנו כבר לא משתמשים בתמונה שהורדה קודם לכן, היא גם הופכת למועמדת למחוק ולשחרר את המשאבים שלנו:

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          0          126M       126M (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

הערה: כל עוד התמונה נמצאת בשימוש על ידי מיכל אחד לפחות, לא תוכל להשתמש בטריק הזה.

תת-פקודה לגזם שהשתמשנו למעלה משפיעה רק על מיכלים שנעצרו. אם אנחנו רוצים למחוק לא רק קונטיינרים שנעצרו אלא גם פועלים, עלינו להשתמש באחת מהפקודות הבאות:

# Historical command
$ docker rm -f $(docker ps –aq)

# More recent command
$ docker container rm -f $(docker container ls -aq)

הערות צד: אם אתה משתמש בפרמטר -rm בעת הפעלת קונטיינר, אז כאשר הוא נעצר, כל שטח הדיסק שהוא תפס יתפנה.

שימוש בתמונות דיסק

לפני כמה שנים, גודל תמונה של כמה מאות מגה-בייט היה תקין לחלוטין: תמונה של אובונטו שקלה 600 מגה-בייט, ותמונה של Microsoft .Net שקלה כמה ג'יגה-בייט. באותם ימים מדובללים, הורדת תמונה אחת בלבד עלולה לגבות מחיר גדול משטח הדיסק הפנוי שלך, גם אם היית משתף רמות בין תמונות. היום - השבח לגדולים - התמונות שוקלות הרבה פחות, אבל למרות זאת, אתה יכול למלא במהירות את המשאבים הזמינים אם לא תנקוט כמה אמצעי זהירות.

ישנם מספר סוגי תמונות שאינם גלויים ישירות למשתמש הקצה:

• תמונות ביניים, שעל בסיסן נאספות תמונות אחרות - לא ניתן למחוק אותן אם אתה משתמש במיכלים המבוססים על תמונות "אחרות" אלו;
• תמונות משתלשלות הן תמונות ביניים שאינן מוזכרות על ידי אף אחד מהמכולות הפועלות - ניתן למחוק אותן.
• בעזרת הפקודה הבאה תוכל לבדוק אם יש תמונות משתלשלות במערכת שלך:

$ docker image ls -f dangling=true
REPOSITORY  TAG      IMAGE ID         CREATED             SIZE
none      none   21e658fe5351     12 minutes ago      71.3MB

אתה יכול להסיר אותם בדרך הבאה:

$ docker image rm $(docker image ls -f dangling=true -q)

אנו יכולים גם להשתמש בתת-פקודה prune:

$ docker image prune
WARNING! This will remove all dangling images.
Are you sure you want to continue? [y/N] y
Deleted Images:
deleted: sha256:143407a3cb7efa6e95761b8cd6cea25e3f41455be6d5e7cda
deleted: sha256:738010bda9dd34896bac9bbc77b2d60addd7738ad1a95e5cc
deleted: sha256:fa4f0194a1eb829523ecf3bad04b4a7bdce089c8361e2c347
deleted: sha256:c5041938bcb46f78bf2f2a7f0a0df0eea74c4555097cc9197
deleted: sha256:5945bb6e12888cf320828e0fd00728947104da82e3eb4452f

Total reclaimed space: 12.9kB

אם אנחנו רוצים פתאום למחוק את כל התמונות לגמרי (ולא רק תלויות) בפקודה אחת, אז אנחנו יכולים לעשות את זה:

$ docker image rm $(docker image ls -q)

שימוש בדיסק לפי אמצעי אחסון

אמצעי אחסון משמשים לאחסון נתונים מחוץ למערכת הקבצים של המכולה. למשל, אם נרצה לשמור תוצאות של אפליקציה על מנת להשתמש בהן בדרך אחרת. דוגמה נפוצה היא מסדי נתונים.

בואו נשיק קונטיינר MongoDB, נעלה אמצעי אחסון חיצוני לקונטיינר ונשחזר ממנו גיבוי של מסד נתונים (יש לנו אותו זמין בקובץ bck.json):

# Running a mongo container
$ docker run --name db -v $PWD:/tmp -p 27017:27017 -d mongo:4.0

# Importing an existing backup (from a huge bck.json file)
$ docker exec -ti db mongoimport 
  --db 'test' 
  --collection 'demo' 
  --file /tmp/bck.json 
  --jsonArray

הנתונים ימוקמו במחשב המארח בספריית /var/lib/docer/volumes. אבל למה לא ברמת קריאה-כתיבה של המיכל? מכיוון שב-Dockerfile של תמונת MongoDB, ספריית /data/db (שם MongoDB מאחסן את הנתונים שלה כברירת מחדל) מוגדרת כנפח.

הערה צדדית: תמונות רבות שצריכות לייצר נתונים משתמשות בנפחים כדי לאחסן את הנתונים האלה.

כאשר נשחק מספיק עם MongoDB ונפסיק (או אולי אפילו נמחק) את הקונטיינר, הווליום לא יימחק. זה ימשיך לתפוס את שטח הדיסק היקר שלנו עד שנמחק אותו במפורש עם פקודה כזו:

$ docker volume rm $(docker volume ls -q)

ובכן, או שנוכל להשתמש בתת-פקודה prune שכבר מוכרת לנו:

$ docker volume prune
WARNING! This will remove all local volumes not used by at least one container.
Are you sure you want to continue? [y/N] y
Deleted Volumes:
d50b6402eb75d09ec17a5f57df4ed7b520c448429f70725fc5707334e5ded4d5
8f7a16e1cf117cdfddb6a38d1f4f02b18d21a485b49037e2670753fa34d115fc
599c3dd48d529b2e105eec38537cd16dac1ae6f899a123e2a62ffac6168b2f5f
...
732e610e435c24f6acae827cd340a60ce4132387cfc512452994bc0728dd66df
9a3f39cc8bd0f9ce54dea3421193f752bda4b8846841b6d36f8ee24358a85bae
045a9b534259ec6c0318cb162b7b4fca75b553d4e86fc93faafd0e7c77c79799
c6283fe9f8d2ca105d30ecaad31868410e809aba0909b3e60d68a26e92a094da

Total reclaimed space: 25.82GB
luc@saturn:~$

שימוש בדיסק למטמון בניית תמונה

ב-Docker 18.09, תהליך יצירת התמונה עבר כמה שינויים הודות לכלי BuildKit. הדבר הזה מגביר את מהירות התהליך ומייעל את אחסון הנתונים וניהול האבטחה. כאן לא נשקול את כל הפרטים של הכלי הנפלא הזה; נתמקד רק כיצד הוא מטפל בבעיות של שימוש בשטח דיסק.

נניח שיש לנו יישום Node.Js פשוט לחלוטין:

• הקובץ index.js מתחיל שרת HTTP פשוט שמגיב בשורה לכל בקשה שהתקבלה:
• הקובץ package.json מגדיר את התלות, שרק expressjs משמש להפעלת שרת ה-HTTP:

$ cat index.js
var express = require('express');
var util    = require('util');
var app = express();
app.get('/', function(req, res) {
  res.setHeader('Content-Type', 'text/plain');
  res.end(util.format("%s - %s", new Date(), 'Got Request'));
});
app.listen(process.env.PORT || 80);

$ cat package.json
    {
      "name": "testnode",
      "version": "0.0.1",
      "main": "index.js",
      "scripts": {
        "start": "node index.js"
      },
      "dependencies": {
        "express": "^4.14.0"
      }
    }

ה-Dockerfile לבניית התמונה נראה כך:

FROM node:13-alpine
COPY package.json /app/package.json
RUN cd /app && npm install
COPY . /app/
WORKDIR /app
EXPOSE 80
CMD ["npm", "start"]

בואו נבנה את התמונה בדרך הרגילה, מבלי להשתמש ב-BuildKit:

$ docker build -t app:1.0 .

אם נבדוק את השימוש בשטח הדיסק, נוכל לראות שרק תמונת הבסיס (node:13-alpine) ותמונת היעד (אפליקציה:1.0) תופסות מקום:

TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         2          0          109.3MB    109.3MB (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

בואו נבנה את הגרסה השנייה של האפליקציה שלנו, באמצעות BuildKit. כדי לעשות זאת, אנחנו רק צריכים להגדיר את המשתנה DOCKER_BUILDKIT ל-1:

$ DOCKER_BUILDKIT=1 docker build -t app:2.0 .

אם נבדוק כעת את השימוש בדיסק, נראה שהמטמון ה-buid-cache (buid-cache) מעורב שם כעת:

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         2          0          109.3MB    109.3MB (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    11         0          8.949kB    8.949kB

כדי לנקות אותו, השתמש בפקודה הבאה:

$ docker builder prune
WARNING! This will remove all dangling build cache.
Are you sure you want to continue? [y/N] y
Deleted build cache objects:
rffq7b06h9t09xe584rn4f91e
ztexgsz949ci8mx8p5tzgdzhe
3z9jeoqbbmj3eftltawvkiayi

Total reclaimed space: 8.949kB

נקה הכל!

אז, בדקנו ניקוי שטח דיסק שנכבש על ידי מיכלים, תמונות ואמצעי אחסון. תת-פקודה לגזם עוזרת לנו בכך. אבל ניתן להשתמש בו גם ברמת מערכת ה-Docker, והוא ינקה כל מה שהוא יכול:

$ docker system prune
WARNING! This will remove:
  - all stopped containers
  - all networks not used by at least one container
  - all dangling images
  - all dangling build cache

Are you sure you want to continue? [y/N]

אם מסיבה כלשהי אתה חוסך מקום בדיסק במחשב שבו פועל Docker, הריצה מעת לעת של פקודה זו אמורה להפוך להרגל.

מקור: www.habr.com