ડોકર ટીપ્સ: તમારા મશીનને જંક સાફ કરો

હે હબર! હું તમારા ધ્યાન પર લેખનો અનુવાદ રજૂ કરું છું "ડોકર ટિપ્સ: તમારું સ્થાનિક મશીન સાફ કરો" લેખક લુક જગરી.

આજે આપણે ડોકર હોસ્ટ મશીનની ડિસ્ક જગ્યાનો ઉપયોગ કેવી રીતે કરે છે તે વિશે વાત કરીશું, અને અમે એ પણ શોધીશું કે આ જગ્યાને ન વપરાયેલ ઈમેજો અને કન્ટેનરના સ્ક્રેપ્સમાંથી કેવી રીતે મુક્ત કરવી.

કુલ વપરાશ

ડોકર એક સરસ વસ્તુ છે, કદાચ થોડા લોકો આજે તેના પર શંકા કરે છે. થોડા વર્ષો પહેલા, આ ઉત્પાદને અમને કોઈપણ પર્યાવરણ બનાવવા, પહોંચાડવા અને ચલાવવા માટે સંપૂર્ણપણે નવી રીત આપી હતી, જે અમને CPU અને RAM સંસાધનોને નોંધપાત્ર રીતે બચાવવા માટે પરવાનગી આપે છે. આ ઉપરાંત (અને કેટલાક માટે આ સૌથી મહત્વની બાબત હશે) ડોકરે અમને અમારા ઉત્પાદન વાતાવરણના જીવનચક્ર સંચાલનને અવિશ્વસનીય રીતે સરળ અને એકીકૃત કરવાની મંજૂરી આપી છે.

જો કે, આધુનિક જીવનની આ બધી ખુશીઓ કિંમતે આવે છે. જ્યારે અમે કન્ટેનર ચલાવીએ છીએ, અમારી પોતાની છબીઓ ડાઉનલોડ કરીએ છીએ અથવા બનાવીએ છીએ, અને જટિલ ઇકોસિસ્ટમનો ઉપયોગ કરીએ છીએ, ત્યારે અમારે ચૂકવણી કરવી પડશે. અને અમે અન્ય વસ્તુઓની સાથે, ડિસ્ક જગ્યા સાથે ચૂકવણી કરીએ છીએ.

જો તમે ક્યારેય વિચાર્યું નથી કે ડોકર ખરેખર તમારા મશીન પર કેટલી જગ્યા લે છે, તો તમે આ આદેશના આઉટપુટથી અપ્રિય રીતે આશ્ચર્ય પામી શકો છો:

$ docker system df

આ વિવિધ સંદર્ભોમાં ડોકરનો ડિસ્ક વપરાશ બતાવે છે:

• ઈમેજીસ – ઈમેજનું કુલ કદ કે જે ઈમેજ રીપોઝીટરીઝમાંથી ડાઉનલોડ કરવામાં આવી હતી અને તમારી સિસ્ટમ પર બનાવવામાં આવી હતી;
• કન્ટેનર - ચાલતા કન્ટેનર દ્વારા વપરાતી ડિસ્ક સ્પેસની કુલ રકમ (એટલે ​​કે તમામ કન્ટેનરના રીડ-રાઇટ લેયર્સનું કુલ વોલ્યુમ);
• સ્થાનિક વોલ્યુમો - કન્ટેનરમાં માઉન્ટ થયેલ સ્થાનિક સ્ટોરેજનું પ્રમાણ;
• બિલ્ડ કેશ - ઇમેજ બિલ્ડિંગ પ્રક્રિયા દ્વારા જનરેટ કરાયેલ અસ્થાયી ફાઇલો (બિલ્ડકિટ ટૂલનો ઉપયોગ કરીને, ડોકર સંસ્કરણ 18.09 થી શરૂ કરીને ઉપલબ્ધ છે).

હું શરત લગાવું છું કે આ સરળ ટ્રાન્સફર પછી તમે તમારી કચરાની ડિસ્ક સાફ કરવા અને કિંમતી ગીગાબાઈટ્સને ફરીથી જીવંત કરવા આતુર છો (નોંધ: ખાસ કરીને જો તમે દર મહિને આ ગીગાબાઈટ્સ માટે ભાડું ચૂકવો છો).

કન્ટેનર દ્વારા ડિસ્કનો ઉપયોગ

દર વખતે જ્યારે તમે યજમાન મશીન પર કન્ટેનર બનાવો છો, ત્યારે /var/lib/docker ડિરેક્ટરીમાં કેટલીક ફાઇલો અને ડિરેક્ટરીઓ બનાવવામાં આવે છે, જેમાંથી નીચેની નોંધ લેવા જેવી છે:

• ડિરેક્ટરી /var/lib/docker/containers/container_ID – પ્રમાણભૂત લોગીંગ ડ્રાઇવરનો ઉપયોગ કરતી વખતે, આ તે છે જ્યાં ઇવેન્ટ લોગ JSON ફોર્મેટમાં સાચવવામાં આવે છે. ખૂબ વિગતવાર લૉગ્સ, તેમજ લૉગ્સ કે જે કોઈ વાંચતું નથી અથવા અન્યથા પ્રક્રિયા કરતું નથી, ઘણી વખત ડિસ્ક ભરાઈ જાય છે.
• /var/lib/docker/overlay2 ડાયરેક્ટરી કન્ટેનર રીડ-રાઈટ લેયર્સ ધરાવે છે (ઓવરલે2 એ મોટાભાગના Linux વિતરણોમાં પસંદગીનું ડ્રાઈવર છે). જો કન્ટેનર તેની ફાઇલ સિસ્ટમમાં ડેટા સ્ટોર કરે છે, તો તે આ ડિરેક્ટરીમાં છે કે તે મૂકવામાં આવશે.

ચાલો એવી સિસ્ટમની કલ્પના કરીએ કે જેના પર નૈસર્ગિક ડોકર ઇન્સ્ટોલ કરેલું છે, જે ક્યારેય કન્ટેનર લોંચ કરવામાં અથવા ઈમેજો બનાવવા માટે સામેલ નથી. તેનો ડિસ્ક સ્પેસ વપરાશ અહેવાલ આના જેવો દેખાશે:

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         0          0          0B         0B
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

ચાલો કેટલાક કન્ટેનર લોંચ કરીએ, ઉદાહરણ તરીકે, NGINX:

$ docker container run --name www -d -p 8000:80 nginx:1.16

ડિસ્કનું શું થાય છે:

• છબીઓ 126 MB ધરાવે છે, આ તે જ NGINX છે જે અમે કન્ટેનરમાં લોન્ચ કર્યું છે;
• કન્ટેનર હાસ્યાસ્પદ 2 બાઇટ્સ લે છે.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          1          2B         0B (0%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

નિષ્કર્ષ દ્વારા અભિપ્રાય આપતા, અમારી પાસે હજી સુધી કોઈ જગ્યા નથી કે જે આપણે ખાલી કરી શકીએ. 2 બાઇટ્સ સંપૂર્ણપણે વ્યર્થ હોવાથી, ચાલો કલ્પના કરીએ કે અમારા NGINX એ અણધારી રીતે ક્યાંક 100 મેગાબાઇટ્સ ડેટા લખ્યો છે અને તેની અંદર બરાબર આ કદની ફાઇલ test.img બનાવી છે.

$ docker exec -ti www 
  dd if=/dev/zero of=test.img bs=1024 count=0 seek=$[1024*100]

ચાલો ફરીથી હોસ્ટ પર ડિસ્ક સ્પેસ વપરાશની તપાસ કરીએ. આપણે જોઈશું કે કન્ટેનર (કન્ટેનર) ત્યાં 100 મેગાબાઈટ રોકે છે.

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          1          104.9MB    0B (0%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

મને લાગે છે કે તમારું જિજ્ઞાસુ મગજ પહેલેથી જ વિચારી રહ્યું છે કે અમારી test.img ફાઇલ ક્યાં સ્થિત છે. ચાલો તેને જોઈએ:

$ find /var/lib/docker -type f -name test.img
/var/lib/docker/overlay2/83f177...630078/merged/test.img
/var/lib/docker/overlay2/83f177...630078/diff/test.img

વિગતોમાં ગયા વિના, અમે નોંધ કરી શકીએ છીએ કે test.img ફાઈલ સહેલાઈથી રીડ-રાઈટ લેવલ પર સ્થિત છે, જે ઓવરલે2 ડ્રાઈવર દ્વારા નિયંત્રિત છે. જો આપણે અમારું કન્ટેનર બંધ કરીએ, તો યજમાન અમને કહેશે કે આ જગ્યા, સૈદ્ધાંતિક રીતે, ખાલી થઈ શકે છે:

# Stopping the www container
$ docker stop www

# Visualizing the impact on the disk usage
$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          1          126M       0B (0%)
Containers     1          0          104.9MB    104.9MB (100%)
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

આપણે આ કેવી રીતે કરી શકીએ? કન્ટેનરને કાઢી નાખવાથી, જે વાંચવા-લેખવાના સ્તરે અનુરૂપ જગ્યાને સાફ કરવા માટે જરૂરી બનશે.

નીચે આપેલા આદેશ સાથે, તમે બધા ઇન્સ્ટોલ કરેલા કન્ટેનરને એક જ સ્વૂપમાં દૂર કરી શકો છો અને તેમના દ્વારા બનાવેલ બધી વાંચવા-લેખવા માટેની તમારી ડિસ્કને સાફ કરી શકો છો:

$ docker container prune
WARNING! This will remove all stopped containers.
Are you sure you want to continue? [y/N] y
Deleted Containers:
5e7f8e5097ace9ef5518ebf0c6fc2062ff024efb495f11ccc89df21ec9b4dcc2

Total reclaimed space: 104.9MB

તેથી, અમે કન્ટેનર કાઢી નાખીને 104,9 મેગાબાઇટ્સ મુક્ત કર્યા. પરંતુ અમે હવે પહેલાં ડાઉનલોડ કરેલી છબીનો ઉપયોગ કરતા ન હોવાથી, તે અમારા સંસાધનોને કાઢી નાખવા અને મુક્ત કરવા માટે પણ ઉમેદવાર બની જાય છે:

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         1          0          126M       126M (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

નોંધ: જ્યાં સુધી ઓછામાં ઓછા એક કન્ટેનર દ્વારા છબીનો ઉપયોગ કરવામાં આવે ત્યાં સુધી તમે આ યુક્તિનો ઉપયોગ કરી શકશો નહીં.

અમે ઉપર જે પ્રૂન સબકમાન્ડનો ઉપયોગ કર્યો છે તેની અસર માત્ર રોકાયેલા કન્ટેનર પર જ પડે છે. જો આપણે ફક્ત અટકેલા જ નહીં પણ ચાલતા કન્ટેનરને પણ કાઢી નાખવા માંગતા હોય, તો આપણે આમાંથી એક આદેશનો ઉપયોગ કરવો જોઈએ:

# Historical command
$ docker rm -f $(docker ps –aq)

# More recent command
$ docker container rm -f $(docker container ls -aq)

બાજુની નોંધો: જો તમે કન્ટેનર શરૂ કરતી વખતે -rm પરિમાણનો ઉપયોગ કરો છો, તો જ્યારે તે બંધ થાય છે, ત્યારે તેણે કબજે કરેલી બધી ડિસ્ક જગ્યા ખાલી કરવામાં આવશે.

ડિસ્ક છબીઓનો ઉપયોગ કરીને

થોડા વર્ષો પહેલા, કેટલાક સો મેગાબાઇટ્સની ઇમેજનું કદ સંપૂર્ણપણે સામાન્ય હતું: ઉબુન્ટુ ઇમેજનું વજન 600 મેગાબાઇટ્સ હતું, અને માઇક્રોસોફ્ટ. નેટ ઇમેજનું વજન કેટલાક ગીગાબાઇટ્સ હતું. તે શેગી દિવસોમાં, માત્ર એક છબી ડાઉનલોડ કરવાથી તમારી ફ્રી ડિસ્ક સ્પેસ પર મોટો ફાયદો થઈ શકે છે, પછી ભલે તમે ઈમેજો વચ્ચે લેવલ શેર કરતા હોવ. આજે - મહાનની પ્રશંસા કરો - છબીઓનું વજન ઘણું ઓછું છે, પરંતુ તેમ છતાં, જો તમે થોડી સાવચેતી ન રાખો તો તમે ઉપલબ્ધ સંસાધનોને ઝડપથી ભરી શકો છો.

ત્યાં ઘણી પ્રકારની છબીઓ છે જે અંતિમ વપરાશકર્તાને સીધી દેખાતી નથી:

• મધ્યવર્તી છબીઓ, જેના આધારે અન્ય છબીઓ એકત્રિત કરવામાં આવે છે - જો તમે આ "અન્ય" છબીઓના આધારે કન્ટેનરનો ઉપયોગ કરો છો તો તે કાઢી શકાશે નહીં;
• ઝૂલતી છબીઓ એ મધ્યવર્તી છબીઓ છે જેનો કોઈ પણ ચાલતા કન્ટેનર દ્વારા સંદર્ભ આપવામાં આવતો નથી - તે કાઢી શકાય છે.
• નીચેના આદેશ સાથે તમે તમારી સિસ્ટમ પર ઝૂલતી છબીઓ માટે તપાસ કરી શકો છો:

$ docker image ls -f dangling=true
REPOSITORY  TAG      IMAGE ID         CREATED             SIZE
none      none   21e658fe5351     12 minutes ago      71.3MB

તમે તેમને નીચેની રીતે દૂર કરી શકો છો:

$ docker image rm $(docker image ls -f dangling=true -q)

અમે prune સબકમાન્ડનો પણ ઉપયોગ કરી શકીએ છીએ:

$ docker image prune
WARNING! This will remove all dangling images.
Are you sure you want to continue? [y/N] y
Deleted Images:
deleted: sha256:143407a3cb7efa6e95761b8cd6cea25e3f41455be6d5e7cda
deleted: sha256:738010bda9dd34896bac9bbc77b2d60addd7738ad1a95e5cc
deleted: sha256:fa4f0194a1eb829523ecf3bad04b4a7bdce089c8361e2c347
deleted: sha256:c5041938bcb46f78bf2f2a7f0a0df0eea74c4555097cc9197
deleted: sha256:5945bb6e12888cf320828e0fd00728947104da82e3eb4452f

Total reclaimed space: 12.9kB

જો આપણે અચાનક એક આદેશ વડે બધી છબીઓને એકસાથે કાઢી નાખવા માંગીએ છીએ (અને માત્ર લટકતી નથી), તો અમે આ કરી શકીએ છીએ:

$ docker image rm $(docker image ls -q)

વોલ્યુમ દ્વારા ડિસ્ક વપરાશ

કન્ટેનરની ફાઇલ સિસ્ટમની બહાર ડેટા સ્ટોર કરવા માટે વોલ્યુમનો ઉપયોગ થાય છે. ઉદાહરણ તરીકે, જો આપણે એપ્લિકેશનના પરિણામોને અન્ય રીતે વાપરવા માટે સાચવવા માંગતા હોઈએ. એક સામાન્ય ઉદાહરણ ડેટાબેઝ છે.

ચાલો MongoDB કન્ટેનર લોંચ કરીએ, કન્ટેનરમાં બાહ્ય વોલ્યુમ માઉન્ટ કરીએ અને તેમાંથી ડેટાબેઝ બેકઅપ પુનઃસ્થાપિત કરીએ (અમારી પાસે તે bck.json ફાઇલમાં ઉપલબ્ધ છે):

# Running a mongo container
$ docker run --name db -v $PWD:/tmp -p 27017:27017 -d mongo:4.0

# Importing an existing backup (from a huge bck.json file)
$ docker exec -ti db mongoimport 
  --db 'test' 
  --collection 'demo' 
  --file /tmp/bck.json 
  --jsonArray

ડેટા હોસ્ટ મશીન પર /var/lib/docker/volumes ડિરેક્ટરીમાં સ્થિત થશે. પરંતુ કન્ટેનરના વાંચન-લેખન સ્તરે કેમ નહીં? કારણ કે મોંગોડીબી ઈમેજની ડોકરફાઈલમાં, /ડેટા/ડીબી ડાયરેક્ટરી (જ્યાં મોંગોડીબી તેનો ડેટા ડિફોલ્ટ રૂપે સંગ્રહિત કરે છે)ને વોલ્યુમ તરીકે વ્યાખ્યાયિત કરવામાં આવે છે.

બાજુની નોંધ: ઘણી છબીઓ કે જે ડેટા ઉત્પન્ન કરે છે તે ડેટાને સંગ્રહિત કરવા માટે વોલ્યુમનો ઉપયોગ કરે છે.

જ્યારે આપણે MongoDB સાથે પૂરતું રમીએ છીએ અને કન્ટેનરને રોકીએ છીએ (અથવા કદાચ કાઢી પણ નાખીએ છીએ), ત્યારે વોલ્યુમ કાઢી નાખવામાં આવશે નહીં. જ્યાં સુધી અમે તેને આના જેવા આદેશ સાથે સ્પષ્ટપણે કાઢી નાખીએ નહીં ત્યાં સુધી તે અમારી કિંમતી ડિસ્ક જગ્યા લેવાનું ચાલુ રાખશે:

$ docker volume rm $(docker volume ls -q)

સારું, અથવા અમે કાપણી સબકમાન્ડનો ઉપયોગ કરી શકીએ છીએ જે અમને પહેલેથી જ પરિચિત છે:

$ docker volume prune
WARNING! This will remove all local volumes not used by at least one container.
Are you sure you want to continue? [y/N] y
Deleted Volumes:
d50b6402eb75d09ec17a5f57df4ed7b520c448429f70725fc5707334e5ded4d5
8f7a16e1cf117cdfddb6a38d1f4f02b18d21a485b49037e2670753fa34d115fc
599c3dd48d529b2e105eec38537cd16dac1ae6f899a123e2a62ffac6168b2f5f
...
732e610e435c24f6acae827cd340a60ce4132387cfc512452994bc0728dd66df
9a3f39cc8bd0f9ce54dea3421193f752bda4b8846841b6d36f8ee24358a85bae
045a9b534259ec6c0318cb162b7b4fca75b553d4e86fc93faafd0e7c77c79799
c6283fe9f8d2ca105d30ecaad31868410e809aba0909b3e60d68a26e92a094da

Total reclaimed space: 25.82GB
luc@saturn:~$

ઇમેજ બિલ્ડ કેશ માટે ડિસ્કનો ઉપયોગ કરવો

ડોકર 18.09 માં, બિલ્ડકિટ ટૂલને કારણે ઇમેજ બનાવવાની પ્રક્રિયામાં કેટલાક ફેરફારો થયા છે. આ વસ્તુ પ્રક્રિયાની ગતિ વધારે છે અને ડેટા સ્ટોરેજ અને સુરક્ષા વ્યવસ્થાપનને શ્રેષ્ઠ બનાવે છે. અહીં અમે આ અદ્ભુત ટૂલની તમામ વિગતોને ધ્યાનમાં લઈશું નહીં; અમે ફક્ત તેના પર ધ્યાન કેન્દ્રિત કરીશું કે તે ડિસ્ક સ્પેસના ઉપયોગની સમસ્યાઓને કેવી રીતે સંબોધિત કરે છે.

ચાલો કહીએ કે અમારી પાસે સંપૂર્ણપણે સરળ Node.Js એપ્લિકેશન છે:

• index.js ફાઇલ એક સરળ HTTP સર્વર શરૂ કરે છે જે પ્રાપ્ત થયેલ દરેક વિનંતીને લીટી સાથે પ્રતિસાદ આપે છે:
• package.json ફાઇલ નિર્ભરતાને વ્યાખ્યાયિત કરે છે, જેમાંથી HTTP સર્વરને ચલાવવા માટે માત્ર Expressjs નો ઉપયોગ થાય છે:

$ cat index.js
var express = require('express');
var util    = require('util');
var app = express();
app.get('/', function(req, res) {
  res.setHeader('Content-Type', 'text/plain');
  res.end(util.format("%s - %s", new Date(), 'Got Request'));
});
app.listen(process.env.PORT || 80);

$ cat package.json
    {
      "name": "testnode",
      "version": "0.0.1",
      "main": "index.js",
      "scripts": {
        "start": "node index.js"
      },
      "dependencies": {
        "express": "^4.14.0"
      }
    }

છબી બનાવવા માટેની ડોકરફાઇલ આના જેવી દેખાય છે:

FROM node:13-alpine
COPY package.json /app/package.json
RUN cd /app && npm install
COPY . /app/
WORKDIR /app
EXPOSE 80
CMD ["npm", "start"]

ચાલો બિલ્ડકિટનો ઉપયોગ કર્યા વિના, સામાન્ય રીતે છબી બનાવીએ:

$ docker build -t app:1.0 .

જો આપણે ડિસ્ક સ્પેસ વપરાશ તપાસીએ, તો આપણે જોઈ શકીએ છીએ કે માત્ર બેઝ ઈમેજ (નોડ:13-આલ્પાઈન) અને ડેસ્ટિનેશન ઈમેજ (એપ:1.0) જ જગ્યા લઈ રહ્યા છે:

TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         2          0          109.3MB    109.3MB (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    0          0          0B         0B

ચાલો બિલ્ડકિટનો ઉપયોગ કરીને અમારી એપ્લિકેશનનું બીજું સંસ્કરણ બનાવીએ. આ કરવા માટે, અમારે માત્ર DOCKER_BUILDKIT ચલને 1 પર સેટ કરવાની જરૂર છે:

$ DOCKER_BUILDKIT=1 docker build -t app:2.0 .

જો આપણે હવે ડિસ્ક વપરાશ તપાસીએ, તો આપણે જોઈશું કે બિલ્ડ કેશ (buid-cache) હવે ત્યાં સામેલ છે:

$ docker system df
TYPE           TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images         2          0          109.3MB    109.3MB (100%)
Containers     0          0          0B         0B
Local Volumes  0          0          0B         0B
Build Cache    11         0          8.949kB    8.949kB

તેને સાફ કરવા માટે, નીચેના આદેશનો ઉપયોગ કરો:

$ docker builder prune
WARNING! This will remove all dangling build cache.
Are you sure you want to continue? [y/N] y
Deleted build cache objects:
rffq7b06h9t09xe584rn4f91e
ztexgsz949ci8mx8p5tzgdzhe
3z9jeoqbbmj3eftltawvkiayi

Total reclaimed space: 8.949kB

બધું સાફ કરો!

તેથી, અમે કન્ટેનર, છબીઓ અને વોલ્યુમો દ્વારા કબજે કરેલી ડિસ્ક જગ્યાને સાફ કરવા તરફ જોયું. પ્રૂન સબકમાન્ડ આમાં અમને મદદ કરે છે. પરંતુ તેનો ઉપયોગ ડોકર સિસ્ટમ સ્તરે પણ થઈ શકે છે, અને તે જે કરી શકે તે બધું સાફ કરશે:

$ docker system prune
WARNING! This will remove:
  - all stopped containers
  - all networks not used by at least one container
  - all dangling images
  - all dangling build cache

Are you sure you want to continue? [y/N]

જો કોઈ કારણોસર તમે ડોકર ચલાવતા મશીન પર ડિસ્ક જગ્યા બચાવી રહ્યા છો, તો સમયાંતરે આ આદેશ ચલાવવો એ આદત બની જવી જોઈએ.

સોર્સ: www.habr.com