Имплементација доцкер пулл и доцкер пусх команди без доцкер клијента користећи ХТТП захтеве

Имали смо 2 вреће траве, 75 мескалин таблета уник окружење, доцкер репозиторијум и задатак да имплементирамо доцкер пулл и доцкер пусх команде без доцкер клијента.

УПД:
Питање: Чему све ово?
Одговор: Тестирање учитавања производа (НЕ користи басх, скрипте су дате у образовне сврхе). Одлучено је да се доцкер клијент не користи за смањење додатних слојева (у разумним границама) и, сходно томе, емулацију већег оптерећења. Као резултат тога, сва системска кашњења Доцкер клијента су уклоњена. Добили смо релативно чисто оптерећење директно на производу.
Чланак је користио ГНУ верзије алата.

Прво, хајде да схватимо шта ове команде раде.

Дакле, за шта се користи доцкер пулл? Према документација:

„Извуците слику или спремиште из регистра“.

Тамо такође налазимо везу до разумеју слике, контејнере и драјвере за складиштење.

Одавде можемо разумети да је доцкер слика скуп одређених слојева који садрже информације о најновијим променама на слици, што је очигледно оно што нам је потребно. Следеће гледамо АПИ регистра.

каже следеће:

„Слика“ је комбинација ЈСОН манифеста и појединачних датотека слоја. Процес повлачења > слике се усредсређује на преузимање ове две компоненте.“

Дакле, први корак према документацији је „Извлачење манифеста слике".

Наравно, нећемо га снимати, али су нам потребни подаци из њега. Следи пример захтева: GET /v2/{name}/manifests/{reference}

„Назив и параметар референце идентификују слику и обавезни су. Референца може да садржи ознаку или сажетак.“

Наше доцкер спремиште је распоређено локално, хајде да покушамо да извршимо захтев:

curl -s -X GET "http://localhost:8081/link/to/docker/registry/v2/centos-11-10/manifests/1.1.1" -H "header_if_needed"

Као одговор добијамо јсон од којег нас тренутно занимају само линије спасавања, односно њихови хешови. Када их примимо, можемо да прођемо кроз сваки и извршимо следећи захтев: „ГЕТ /в2/{наме}/блобс/{дигест}“

„Приступ слоју ће бити ограничен именом спремишта, али је јединствено идентификован у регистру помоћу сажетка.“

дигест у овом случају је хеш који смо примили.

Хајде да покушамо

curl -s -X GET "http://localhost:8081/link/to/docker/registry/v2/centos-11-10/blobs/sha256:f972d139738dfcd1519fd2461815651336ee25a8b54c358834c50af094bb262f" -H "header_if_needed" --output firstLayer

Хајде да видимо какав смо фајл коначно добили као први спас.

file firstLayer

оне. шине су тар архиве, распакујући их одговарајућим редоследом добићемо садржај слике.

Хајде да напишемо малу басх скрипту како би све ово могло да се аутоматизује

#!/bin/bash -eu

downloadDir=$1
# url as http://localhost:8081/link/to/docker/registry
url=$2
imageName=$3
tag=$4

# array of layers
layers=($(curl -s -X GET "$url/v2/$imageName/manifests/$tag" | grep -oP '(?<=blobSum" : ").+(?=")'))

# download each layer from array
for layer in "${layers[@]}"; do
    echo "Downloading ${layer}"
    curl -v -X GET "$url/v2/$imageName/blobs/$layer" --output "$downloadDir/$layer.tar"
done

# find all layers, untar them and remove source .tar files
cd "$downloadDir" && find . -name "sha256:*" -exec tar xvf {} ;
rm sha256:*.tar
exit 0

Сада можемо да га покренемо са жељеним параметрима и добијемо садржај потребне слике

./script.sh dirName “http://localhost:8081/link/to/docker/registry” myAwesomeImage 1.0

Део 2 - доцкер пусх

Ово ће бити мало компликованије.

Почнимо поново са документација. Дакле, треба да преузмемо сваког лидера, прикупимо одговарајући манифест и такође га преузмемо. Изгледа једноставно.

Након проучавања документације, можемо поделити процес преузимања у неколико корака:

• Иницијализација процеса – „ПОСТ /в2/{репоНаме}/блобс/уплоадс/“
• Отпремање линије спасавања (користићемо монолитно отпремање, тј. шаљемо сваку линију спаса у целини) - „ПУТ /в2/{репоНаме}/блобс/уплоадс/{ууид}?дигест={дигест}
  Дужина садржаја: {величина слоја}
  Цонтент-Типе: апликација/октет-ток
  Бинарни подаци слоја“.
• Учитавање манифеста – „ПУТ /в2/{репоНаме}/манифестс/{референце}“.

Али документацији недостаје један корак, без којег ништа неће радити. За монолитно оптерећење, као и за делимично (у комадима), пре утовара шине, морате извршити ПАТЦХ захтев:

„ПАТЦХ /в2/{репоНаме}/блобс/уплоадс/{ууид}
Дужина садржаја: {сизе оф цхунк}
Цонтент-Типе: апликација/октет-ток
{Лаиер Цхунк Бинари Дата}".

У супротном, нећете моћи да се померите даље од прве тачке, јер... Уместо очекиваног кода одговора 202, добићете 4кк.

Сада алгоритам изгледа овако:

• Иницијализација
• Патцх раил
• Учитавање рукохвата
• Учитавање манифеста
  Тачке 2 и 3, респективно, биће поновљене онолико пута колико је потребно учитати редове.

Прво, потребна нам је било каква слика. Користићу арцхлинук:латест

docker pull archlinux

Сада ћемо га сачувати локално за даљу анализу

docker save c24fe13d37b9 -o savedArch

Распакујте резултујућу архиву у тренутни директоријум

tar xvf savedArch

Као што видите, свака линија живота налази се у посебном фолдеру. Погледајмо сада структуру манифеста који смо добили

cat manifest.json | json_pp

Не много. Да видимо шта је манифест потребно за учитавање, према документација.

Очигледно, постојећи манифест нам не одговара, па ћемо направити свој са блацкјацком и куртизанама, спасилачким ужетом и конфигурацијама.

Увек ћемо имати најмање једну конфигурациону датотеку и низ линија спасавања. Шема верзија 2 (актуелна у време писања), медиаТипе ће остати непромењен:

echo ‘{
   "schemaVersion": 2,
   "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
   "config": {
      "mediaType": "application/vnd.docker.container.image.v1+json",
      "size": config_size,
      "digest": "config_hash"
   },
   "layers": [
      ’ > manifest.json

Након креирања основног манифеста, потребно је да га попуните важећим подацима. Да бисмо то урадили, користимо јсон шаблон железничког објекта:

{
         "mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip",
         "size": ${layersSizes[$i]},
         "digest": "sha256:${layersNames[$i]}"
      },

Додаћемо га у манифест за сваку шину.

Затим морамо да сазнамо величину конфигурационе датотеке и заменимо стубове у манифесту стварним подацима

sed -i "s/config_size/$configSize/g; s/config_hash/$configName/g" $manifestFile

Сада можете да покренете процес преузимања и сачувате себи ууид, који треба да прати све наредне захтеве.

Комплетна скрипта изгледа отприлике овако:

#!/bin/bash -eux

imageDir=$1
# url as http://localhost:8081/link/to/docker/registry
url=$2
repoName=$3
tag=$4
manifestFile=$(readlink -f ${imageDir}/manifestCopy)
configFile=$(readlink -f $(find $imageDir -name "*.json" ! -name "manifest.json"))

# calc layers sha 256 sum, rename them accordingly, and add info about each to manifest file
function prepareLayersForUpload() {
  info_file=$imageDir/info
  # lets calculate layers sha256 and use it as layers names further
  layersNames=($(find $imageDir -name "layer.tar" -exec shasum -a 256 {} ; | cut -d" " -f1))

  # rename layers according to shasums. !!!Set required amount of fields for cut command!!!
  # this part definitely can be done easier but i didn't found another way, sry
  find $imageDir -name "layer.tar" -exec bash -c 'mv {} "$(echo {} | cut -d"/" -f1,2)/$(shasum -a 256 {} | cut -d" " -f1)"' ;

  layersSizes=($(find $imageDir -name "*.tar" -exec ls -l {} ; | awk '{print $5}'))

  for i in "${!layersNames[@]}"; do
    echo "{
         "mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip",
         "size": ${layersSizes[$i]},
         "digest": "sha256:${layersNames[$i]}"
      }," >> $manifestFile
  done
  # remove last ','
  truncate -s-2 $manifestFile
  # add closing brakets to keep json consistent
  printf "nt]n}" >> $manifestFile
}

# calc config sha 256 sum and add info about it to manifest
function setConfigProps() {
  configSize=$(ls -l $configFile | awk '{print $5}')
  configName=$(basename $configFile | cut -d"." -f1)

  sed -i "s/config_size/$configSize/g; s/config_hash/$configName/g" $manifestFile
}

#prepare manifest file
prepareLayersForUpload
setConfigProps
cat $manifestFile

# initiate upload and get uuid
uuid=$(curl -s -X POST -I "$url/v2/$repoName/blobs/uploads/" | grep -oP "(?<=Docker-Upload-Uuid: ).+")

# patch layers
# in data-binary we're getting absolute path to layer file
for l in "${!layersNames[@]}"; do
  pathToLayer=$(find $imageDir -name ${layersNames[$l]} -exec readlink -f {} ;)
    curl -v -X PATCH "$url/v2/$repoName/blobs/uploads/$uuid" 
  -H "Content-Length: ${layersSizes[$i]}" 
  -H "Content-Type: application/octet-stream" 
  --data-binary "@$pathToLayer"

# put layer
  curl -v -X PUT "$url/v2/$repoName/blobs/uploads/$uuid?digest=sha256:${layersNames[$i]}" 
  -H 'Content-Type: application/octet-stream' 
  -H "Content-Length: ${layersSizes[$i]}" 
  --data-binary "@$pathToLayer"
done

# patch and put config after all layers
curl -v -X PATCH "$url/v2/$repoName/blobs/uploads/$uuid" 
  -H "Content-Length: $configSize" 
  -H "Content-Type: application/octet-stream" 
  --data-binary "@$configFile"

  curl -v -X PUT "$url/v2/$repoName/blobs/uploads/$uuid?digest=sha256:$configName" 
  -H 'Content-Type: application/octet-stream' 
  -H "Content-Length: $configSize" 
  --data-binary "@$configFile"

# put manifest
curl -v -X PUT "$url/v2/$repoName/manifests/$tag" 
  -H 'Content-Type: application/vnd.docker.distribution.manifest.v2+json' 
  --data-binary "@$manifestFile"

exit 0

можемо користити готову скрипту:

./uploadImage.sh "~/path/to/saved/image" "http://localhost:8081/link/to/docker/registry" myRepoName 1.0

УПД:
Шта смо добили као резултат?
Прво, прави подаци за анализу, пошто се тестови раде у блаземетеру и подаци о захтевима доцкер клијента нису баш информативни, за разлику од чистог ХТТП захтева.

Друго, транзиција нам је омогућила да повећамо број виртуелних корисника за отпремање доцкер-а за око 150% и да добијемо просечно време одговора 20-25% брже. За преузимање доцкер-а, успели смо да повећамо број корисника за 500%, док је просечно време одговора смањено за око 60%.

Хвала вам на пажњи.

Извор: ввв.хабр.цом