HTTP অনুরোধগুলি ব্যবহার করে ডকার ক্লায়েন্ট ছাড়াই ডকার পুল এবং ডকার পুশ কমান্ড প্রয়োগ করা

আমাদের কাছে 2 ব্যাগ ঘাস, 75টি মেসকালাইন ট্যাবলেট ইউনিক্স পরিবেশ, একটি ডকার রিপোজিটরি এবং ডকার ক্লায়েন্ট ছাড়াই ডকার পুল এবং ডকার পুশ কমান্ড বাস্তবায়নের কাজ ছিল।

ইউপিডি:
প্রশ্নঃ এই ​​সব কিসের জন্য?
উত্তর: পণ্যের লোড টেস্টিং (ব্যাশ ব্যবহার না করে, স্ক্রিপ্টগুলি শিক্ষাগত উদ্দেশ্যে প্রদান করা হয়)। অতিরিক্ত স্তরগুলি (যৌক্তিক সীমার মধ্যে) কমাতে ডকার ক্লায়েন্ট ব্যবহার না করার সিদ্ধান্ত নেওয়া হয়েছিল এবং সেই অনুযায়ী, একটি উচ্চ লোড অনুকরণ করা হয়েছিল। ফলস্বরূপ, ডকার ক্লায়েন্টের সমস্ত সিস্টেম বিলম্ব সরানো হয়েছে। আমরা সরাসরি পণ্যের উপর তুলনামূলকভাবে পরিষ্কার লোড পেয়েছি।
নিবন্ধটি সরঞ্জামগুলির GNU সংস্করণ ব্যবহার করেছে।

প্রথমত, এই কমান্ডগুলি কি করে তা বের করা যাক।

তাই কি জন্য ডকার টান ব্যবহার করা হয়? অনুসারে ডকুমেন্টেশন:

"একটি রেজিস্ট্রি থেকে একটি চিত্র বা একটি সংগ্রহস্থল টানুন"।

সেখানে আমরা একটি লিঙ্কও খুঁজে পাই ছবি, কন্টেইনার, এবং স্টোরেজ ড্রাইভার বুঝুন.

এখান থেকে আমরা বুঝতে পারি যে একটি ডকার ইমেজ হল নির্দিষ্ট লেয়ারের একটি সেট যাতে ইমেজের সাম্প্রতিক পরিবর্তনগুলি সম্পর্কে তথ্য থাকে, যা আমাদের প্রয়োজন। পরবর্তী আমরা তাকান রেজিস্ট্রি API.

এটি নিম্নলিখিত বলে:

"একটি "ইমেজ" হল একটি JSON ম্যানিফেস্ট এবং স্বতন্ত্র লেয়ার ফাইলের সংমিশ্রণ। এই দুটি উপাদান পুনরুদ্ধার করার চারপাশে একটি > চিত্রকে টেনে আনার প্রক্রিয়া।"

তাই ডকুমেন্টেশন অনুযায়ী প্রথম ধাপ হল "একটি ইমেজ ম্যানিফেস্ট টানা".

অবশ্যই, আমরা এটি শুট করব না, তবে আমাদের এটি থেকে ডেটা দরকার। নিম্নলিখিত একটি উদাহরণ অনুরোধ: GET /v2/{name}/manifests/{reference}

"নাম এবং রেফারেন্স প্যারামিটার ছবিটি সনাক্ত করে এবং প্রয়োজনীয়। রেফারেন্সে একটি ট্যাগ বা ডাইজেস্ট অন্তর্ভুক্ত থাকতে পারে।"

আমাদের ডকার সংগ্রহস্থল স্থানীয়ভাবে স্থাপন করা হয়েছে, আসুন অনুরোধটি কার্যকর করার চেষ্টা করি:

curl -s -X GET "http://localhost:8081/link/to/docker/registry/v2/centos-11-10/manifests/1.1.1" -H "header_if_needed"

প্রতিক্রিয়া হিসাবে, আমরা json পেয়েছি যেখান থেকে আমরা বর্তমানে শুধুমাত্র লাইফলাইন বা তাদের হ্যাশগুলিতে আগ্রহী। সেগুলি পাওয়ার পরে, আমরা প্রতিটিতে যেতে পারি এবং নিম্নলিখিত অনুরোধটি কার্যকর করতে পারি: "GET /v2/{name}/blobs/{digest}"

"একটি স্তরে অ্যাক্সেস সংগ্রহস্থলের নাম দ্বারা গেট করা হবে তবে ডাইজেস্ট দ্বারা রেজিস্ট্রিতে অনন্যভাবে চিহ্নিত করা হবে।"

এই ক্ষেত্রে ডাইজেস্ট আমরা প্রাপ্ত হ্যাশ.

চেষ্টা করছে

curl -s -X GET "http://localhost:8081/link/to/docker/registry/v2/centos-11-10/blobs/sha256:f972d139738dfcd1519fd2461815651336ee25a8b54c358834c50af094bb262f" -H "header_if_needed" --output firstLayer

দেখা যাক প্রথম লাইফলাইন হিসেবে আমরা শেষ পর্যন্ত কি ধরনের ফাইল পেয়েছি।

file firstLayer

সেগুলো. রেলগুলি হল টার আর্কাইভ, যথাযথ ক্রমে সেগুলি আনপ্যাক করলে আমরা চিত্রের বিষয়বস্তু পাব৷

আসুন একটি ছোট ব্যাশ স্ক্রিপ্ট লিখি যাতে এই সমস্ত স্বয়ংক্রিয় হতে পারে

#!/bin/bash -eu

downloadDir=$1
# url as http://localhost:8081/link/to/docker/registry
url=$2
imageName=$3
tag=$4

# array of layers
layers=($(curl -s -X GET "$url/v2/$imageName/manifests/$tag" | grep -oP '(?<=blobSum" : ").+(?=")'))

# download each layer from array
for layer in "${layers[@]}"; do
    echo "Downloading ${layer}"
    curl -v -X GET "$url/v2/$imageName/blobs/$layer" --output "$downloadDir/$layer.tar"
done

# find all layers, untar them and remove source .tar files
cd "$downloadDir" && find . -name "sha256:*" -exec tar xvf {} ;
rm sha256:*.tar
exit 0

এখন আমরা এটি পছন্দসই প্যারামিটার দিয়ে চালাতে পারি এবং প্রয়োজনীয় চিত্রের বিষয়বস্তু পেতে পারি

./script.sh dirName “http://localhost:8081/link/to/docker/registry” myAwesomeImage 1.0

পার্ট 2 - ডকার পুশ

এটি একটু বেশি জটিল হবে।

এর সাথে আবার শুরু করা যাক ডকুমেন্টেশন. তাই আমাদের প্রতিটি নেতাকে ডাউনলোড করতে হবে, সংশ্লিষ্ট ম্যানিফেস্ট সংগ্রহ করতে হবে এবং এটিও ডাউনলোড করতে হবে। এটা সহজ মনে হয়.

ডকুমেন্টেশন অধ্যয়ন করার পরে, আমরা ডাউনলোড প্রক্রিয়াটিকে কয়েকটি ধাপে ভাগ করতে পারি:

• প্রক্রিয়া শুরু করা - "POST /v2/{repoName}/blobs/uploads/"
• একটি লাইফলাইন আপলোড করা হচ্ছে (আমরা একটি মনোলিথিক আপলোড ব্যবহার করব, অর্থাৎ আমরা প্রতিটি লাইফলাইনকে সম্পূর্ণরূপে পাঠাব) - "PUT /v2/{repoName}/blobs/uploads/{uuid}?digest={digest}
  বিষয়বস্তুর দৈর্ঘ্য: {স্তরের আকার}
  বিষয়বস্তুর প্রকার: অ্যাপ্লিকেশন/অক্টেট-স্ট্রীম
  স্তর বাইনারি ডেটা"।
• ম্যানিফেস্ট লোড হচ্ছে - "PUT /v2/{repoName}/manifests/{reference}"।

কিন্তু ডকুমেন্টেশন একটি ধাপ মিস করে, যা ছাড়া কিছুই কাজ করবে না। একচেটিয়া লোডিংয়ের জন্য, পাশাপাশি আংশিক (খণ্ডিত) জন্য, রেল লোড করার আগে, আপনাকে অবশ্যই একটি প্যাচ অনুরোধ করতে হবে:

"প্যাচ /v2/{repoName}/blobs/uploads/{uuid}
বিষয়বস্তুর দৈর্ঘ্য: {খণ্ডের আকার}
বিষয়বস্তুর প্রকার: অ্যাপ্লিকেশন/অক্টেট-স্ট্রীম
{লেয়ার খণ্ড বাইনারি ডেটা}"।

অন্যথায়, আপনি প্রথম পয়েন্টের বাইরে যেতে পারবেন না, কারণ... প্রত্যাশিত প্রতিক্রিয়া কোড 202 এর পরিবর্তে, আপনি 4xx পাবেন।

এখন অ্যালগরিদম এর মত দেখাচ্ছে:

• আরম্ভ
• প্যাচ রেল
• হ্যান্ড্রেল লোড করা হচ্ছে
• ম্যানিফেস্ট লোড হচ্ছে
  পয়েন্ট 2 এবং 3, যথাক্রমে, যতবার লাইনের সংখ্যা লোড করতে হবে ততবার পুনরাবৃত্তি হবে।

প্রথমত, আমাদের কোন ছবি দরকার। আমি archlinux:latest ব্যবহার করব

docker pull archlinux

এখন আরও বিশ্লেষণের জন্য স্থানীয়ভাবে এটি সংরক্ষণ করা যাক

docker save c24fe13d37b9 -o savedArch

বর্তমান ডিরেক্টরির মধ্যে ফলাফল সংরক্ষণাগার আনপ্যাক

tar xvf savedArch

আপনি দেখতে পাচ্ছেন, প্রতিটি লাইফলাইন একটি পৃথক ফোল্ডারে রয়েছে। এখন আমরা প্রাপ্ত ম্যানিফেস্টের গঠন দেখি

cat manifest.json | json_pp

বেশি না. আসুন দেখি ম্যানিফেস্ট লোড করার জন্য কী প্রয়োজন, অনুযায়ী ডকুমেন্টেশন.

স্পষ্টতই, বিদ্যমান ম্যানিফেস্টো আমাদের জন্য উপযুক্ত নয়, তাই আমরা ব্ল্যাকজ্যাক এবং গণিকা, লাইফলাইন এবং কনফিগারেশন দিয়ে আমাদের নিজস্ব তৈরি করব।

আমাদের সর্বদা কমপক্ষে একটি কনফিগারেশন ফাইল এবং লাইফলাইনগুলির একটি অ্যারে থাকবে। স্কিম সংস্করণ 2 (লেখার সময় বর্তমান), মিডিয়া টাইপ অপরিবর্তিত থাকবে:

echo ‘{
   "schemaVersion": 2,
   "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
   "config": {
      "mediaType": "application/vnd.docker.container.image.v1+json",
      "size": config_size,
      "digest": "config_hash"
   },
   "layers": [
      ’ > manifest.json

মৌলিক ম্যানিফেস্ট তৈরি করার পরে, আপনাকে এটি বৈধ ডেটা দিয়ে পূরণ করতে হবে। এটি করার জন্য, আমরা রেল অবজেক্টের json টেমপ্লেট ব্যবহার করি:

{
         "mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip",
         "size": ${layersSizes[$i]},
         "digest": "sha256:${layersNames[$i]}"
      },

আমরা প্রতিটি রেলের জন্য ম্যানিফেস্টে এটি যুক্ত করব।

এর পরে, আমাদের কনফিগার ফাইলের আকার খুঁজে বের করতে হবে এবং ম্যানিফেস্টের স্টাবগুলিকে বাস্তব ডেটা দিয়ে প্রতিস্থাপন করতে হবে

sed -i "s/config_size/$configSize/g; s/config_hash/$configName/g" $manifestFile

এখন আপনি ডাউনলোড প্রক্রিয়া শুরু করতে পারেন এবং নিজেকে একটি uuid সংরক্ষণ করতে পারেন, যা পরবর্তী সমস্ত অনুরোধের সাথে থাকা উচিত।

সম্পূর্ণ স্ক্রিপ্ট এই মত কিছু দেখায়:

#!/bin/bash -eux

imageDir=$1
# url as http://localhost:8081/link/to/docker/registry
url=$2
repoName=$3
tag=$4
manifestFile=$(readlink -f ${imageDir}/manifestCopy)
configFile=$(readlink -f $(find $imageDir -name "*.json" ! -name "manifest.json"))

# calc layers sha 256 sum, rename them accordingly, and add info about each to manifest file
function prepareLayersForUpload() {
  info_file=$imageDir/info
  # lets calculate layers sha256 and use it as layers names further
  layersNames=($(find $imageDir -name "layer.tar" -exec shasum -a 256 {} ; | cut -d" " -f1))

  # rename layers according to shasums. !!!Set required amount of fields for cut command!!!
  # this part definitely can be done easier but i didn't found another way, sry
  find $imageDir -name "layer.tar" -exec bash -c 'mv {} "$(echo {} | cut -d"/" -f1,2)/$(shasum -a 256 {} | cut -d" " -f1)"' ;

  layersSizes=($(find $imageDir -name "*.tar" -exec ls -l {} ; | awk '{print $5}'))

  for i in "${!layersNames[@]}"; do
    echo "{
         "mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip",
         "size": ${layersSizes[$i]},
         "digest": "sha256:${layersNames[$i]}"
      }," >> $manifestFile
  done
  # remove last ','
  truncate -s-2 $manifestFile
  # add closing brakets to keep json consistent
  printf "nt]n}" >> $manifestFile
}

# calc config sha 256 sum and add info about it to manifest
function setConfigProps() {
  configSize=$(ls -l $configFile | awk '{print $5}')
  configName=$(basename $configFile | cut -d"." -f1)

  sed -i "s/config_size/$configSize/g; s/config_hash/$configName/g" $manifestFile
}

#prepare manifest file
prepareLayersForUpload
setConfigProps
cat $manifestFile

# initiate upload and get uuid
uuid=$(curl -s -X POST -I "$url/v2/$repoName/blobs/uploads/" | grep -oP "(?<=Docker-Upload-Uuid: ).+")

# patch layers
# in data-binary we're getting absolute path to layer file
for l in "${!layersNames[@]}"; do
  pathToLayer=$(find $imageDir -name ${layersNames[$l]} -exec readlink -f {} ;)
    curl -v -X PATCH "$url/v2/$repoName/blobs/uploads/$uuid" 
  -H "Content-Length: ${layersSizes[$i]}" 
  -H "Content-Type: application/octet-stream" 
  --data-binary "@$pathToLayer"

# put layer
  curl -v -X PUT "$url/v2/$repoName/blobs/uploads/$uuid?digest=sha256:${layersNames[$i]}" 
  -H 'Content-Type: application/octet-stream' 
  -H "Content-Length: ${layersSizes[$i]}" 
  --data-binary "@$pathToLayer"
done

# patch and put config after all layers
curl -v -X PATCH "$url/v2/$repoName/blobs/uploads/$uuid" 
  -H "Content-Length: $configSize" 
  -H "Content-Type: application/octet-stream" 
  --data-binary "@$configFile"

  curl -v -X PUT "$url/v2/$repoName/blobs/uploads/$uuid?digest=sha256:$configName" 
  -H 'Content-Type: application/octet-stream' 
  -H "Content-Length: $configSize" 
  --data-binary "@$configFile"

# put manifest
curl -v -X PUT "$url/v2/$repoName/manifests/$tag" 
  -H 'Content-Type: application/vnd.docker.distribution.manifest.v2+json' 
  --data-binary "@$manifestFile"

exit 0

আমরা একটি রেডিমেড স্ক্রিপ্ট ব্যবহার করতে পারি:

./uploadImage.sh "~/path/to/saved/image" "http://localhost:8081/link/to/docker/registry" myRepoName 1.0

ইউপিডি:
এর ফলে আমরা কী পেলাম?
প্রথমত, বিশ্লেষণের জন্য আসল ডেটা, যেহেতু পরীক্ষাগুলি ব্লেজমিটারে চালানো হয় এবং ডকার ক্লায়েন্টের অনুরোধের ডেটা খুব তথ্যপূর্ণ নয়, বিশুদ্ধ HTTP অনুরোধগুলির বিপরীতে।

দ্বিতীয়ত, রূপান্তরটি আমাদের ডকার আপলোডের জন্য ভার্চুয়াল ব্যবহারকারীর সংখ্যা প্রায় 150% বৃদ্ধি করতে এবং গড় প্রতিক্রিয়া সময় 20-25% দ্রুত পেতে দেয়। ডকার ডাউনলোডের জন্য, আমরা ব্যবহারকারীর সংখ্যা 500% বৃদ্ধি করতে পেরেছি, যেখানে গড় প্রতিক্রিয়া সময় প্রায় 60% কমেছে।

আপনার মনোযোগের জন্য আপনাকে ধন্যবাদ।

উত্স: www.habr.com