Хеј Хабр!

У савременој стварности, због све веће улоге контејнеризације у развојним процесима, питање обезбеђивања безбедности различитих фаза и ентитета повезаних са контејнерима није најмање важно питање. Спровођење ручних провера одузима много времена, тако да би било добро предузети барем почетне кораке ка аутоматизацији овог процеса.

У овом чланку ћу поделити готове скрипте за имплементацију неколико Доцкер безбедносних услужних програма и упутства о томе како да поставите мали демо штанд за тестирање овог процеса. Можете користити материјале за експериментисање како да организујете процес тестирања безбедности Доцкерфиле слика и упутстава. Јасно је да је инфраструктура развоја и имплементације различита за свакога, па ћу у наставку дати неколико могућих опција.

Услужни програми за безбедносну проверу

Постоји велики број различитих помоћних апликација и скрипти које врше провере на различитим аспектима Доцкер инфраструктуре. Неки од њих су већ описани у претходном чланку (https://habr.com/ru/company/swordfish_security/blog/518758/#docker-security), а у овом чланку желео бих да се фокусирам на три од њих, који покривају већину безбедносних захтева за Доцкер слике које се праве током процеса развоја. Поред тога, показаћу и пример како се ова три услужна програма могу комбиновати у један цевовод за обављање безбедносних провера.

Хадолинт
https://github.com/hadolint/hadolint

Прилично једноставан услужни програм за конзолу који помаже да се прво процени исправност и безбедност Доцкерфиле инструкција (на пример, коришћење само дозвољених регистара слика или коришћење судо).

Доцкле
https://github.com/goodwithtech/dockle

Услужни програм за конзолу који ради на слици (или на сачуваној архиви слика) који проверава исправност и безбедност одређене слике као такве анализирајући њене слојеве и конфигурацију – који су корисници креирани, која упутства се користе, који волумени се монтирају , присуство празне лозинке итд. е. Док број провера није велики и заснива се на неколико сопствених провера и препорука ЦИС (Центар за Интернет безбедност) Бенцхмарк за доцкер.


Триви
https://github.com/aquasecurity/trivy

Овај услужни програм има за циљ да пронађе две врсте рањивости - проблеми са изградњом ОС (подржани од Алпине, РедХат (ЕЛ), ЦентОС, Дебиан ГНУ, Убунту) и проблеми са зависностима (Гемфиле.лоцк, Пипфиле.лоцк, цомпосер.лоцк, пацкаге -лоцк.јсон , иарн.лоцк, царго.лоцк). Триви може да скенира и слику у спремишту и локалну слику, а такође може да скенира на основу пренете .тар датотеке са Доцкер сликом.

Опције имплементације комуналних програма

Да бих испробао описане апликације у изолованом окружењу, даћу упутства за инсталирање свих услужних програма у донекле поједностављеном процесу.

Главна идеја је да се покаже како можете да примените аутоматску проверу садржаја за Доцкерфилес и Доцкер слике које се креирају током развоја.

Сама верификација се састоји од следећих корака:

1. Провера исправности и безбедности упутстава за Доцкерфиле помоћу услужног програма за линтер Хадолинт
2. Провера исправности и сигурности коначних и средњих слика - услужни програм Доцкле
3. Провера опште познатих рањивости (ЦВЕ) у основној слици и број зависности - помоћу услужног програма Триви

Касније у чланку даћу три опције за имплементацију ових корака:
Први је конфигурисањем ЦИ/ЦД цевовода на примеру ГитЛаб-а (са описом процеса подизања тест инстанце).
Други је коришћење схелл скрипте.
Трећи је стварање Доцкер слике за скенирање Доцкер слика.
Можете одабрати опцију која вам највише одговара, пренети је на своју инфраструктуру и прилагодити је својим потребама.

Све потребне датотеке и додатна упутства се такође налазе у спремишту: https://github.com/Swordfish-Security/docker_cicd

ГитЛаб ЦИ/ЦД интеграција

У првој опцији ћемо погледати како се безбедносне провере могу имплементирати користећи ГитЛаб систем ризнице као пример. Овде ћемо проћи кроз кораке и видети како да подесимо тестно окружење са ГитЛаб-ом од нуле, креирамо процес скенирања и покренемо услужне програме за тестирање тестног Доцкерфиле-а и насумичне слике - ЈуицеСхоп апликацију.

Инсталирање ГитЛаб-а
1. Инсталирајте Доцкер:

sudo apt-get update && sudo apt-get install docker.io

2. Додајте тренутног корисника у доцкер групу тако да можете да радите са доцкер-ом без употребе судо:

sudo addgroup <username> docker

3. Пронађите своју ИП адресу:

ip addr

4. Инсталирајте и покрените ГитЛаб у контејнеру, замењујући ИП адресу у имену хоста својом:

docker run --detach 
--hostname 192.168.1.112 
--publish 443:443 --publish 80:80 
--name gitlab 
--restart always 
--volume /srv/gitlab/config:/etc/gitlab 
--volume /srv/gitlab/logs:/var/log/gitlab 
--volume /srv/gitlab/data:/var/opt/gitlab 
gitlab/gitlab-ce:latest

Чекамо да ГитЛаб заврши све неопходне инсталационе процедуре (процес можете пратити кроз излаз датотеке евиденције: доцкер логс -ф гитлаб).

5. Отворите свој локални ИП у претраживачу и видите страницу која нуди промјену лозинке за роот корисника:

Поставите нову лозинку и идите на ГитЛаб.

6. Креирајте нови пројекат, на пример цицд-тест и иницијализујте га са почетном датотеком РЕАДМЕ.мд:

7. Сада морамо да инсталирамо ГитЛаб Руннер: агент који ће на захтев покренути све потребне операције.
Преузмите најновију верзију (у овом случају, под Линуком 64-бит):

sudo curl -L --output /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64

8. Учините га извршним:

sudo chmod +x /usr/local/bin/gitlab-runner

9. Додајте корисника ОС-а за Руннер и покрените услугу:

sudo useradd --comment 'GitLab Runner' --create-home gitlab-runner --shell /bin/bash
sudo gitlab-runner install --user=gitlab-runner --working-directory=/home/gitlab-runner
sudo gitlab-runner start

Требало би да изгледа отприлике овако:

local@osboxes:~$ sudo gitlab-runner install --user=gitlab-runner --working-directory=/home/gitlab-runner
Runtime platform arch=amd64 os=linux pid=8438 revision=0e5417a3 version=12.0.1
local@osboxes:~$ sudo gitlab-runner start
Runtime platform arch=amd64 os=linux pid=8518 revision=0e5417a3 version=12.0.1

10. Сада региструјемо Руннер тако да може да комуницира са нашом ГитЛаб инстанцом.
Да бисте то урадили, отворите страницу Сеттингс-ЦИ/ЦД (хттп://ОУР_ ИП_АДДРЕСС/роот/цицд-тест/-/сеттингс/ци_цд) и на картици Руннерс пронађите УРЛ и токен за регистрацију:

11. Региструјте тркача заменом УРЛ-а и токена за регистрацију:

sudo gitlab-runner register 
--non-interactive 
--url "http://<URL>/" 
--registration-token "<Registration Token>" 
--executor "docker" 
--docker-privileged 
--docker-image alpine:latest 
--description "docker-runner" 
--tag-list "docker,privileged" 
--run-untagged="true" 
--locked="false" 
--access-level="not_protected"

Као резултат, добијамо готов радни ГитЛаб, у који треба да додамо упутства за покретање наших услужних програма. У овој демонстрацији, немамо кораке изградње апликације и контејнеризације, али у стварном окружењу они ће претходити корацима скенирања и генерисати слике и Доцкерфиле за анализу.

конфигурацију цевовода

1. Додајте датотеке у спремиште мидоцкерфиле.дф (ово је тест Доцкерфиле који ћемо тестирати) и ГитЛаб ЦИ/ЦД конфигурациони фајл процеса .гитлаб-цицд.имл, који наводи упутства за скенере (обратите пажњу на тачку у називу датотеке).

ИАМЛ конфигурациона датотека садржи упутства за покретање три услужна програма (Хадолинт, Доцкле и Триви) који ће анализирати изабрани Доцкерфиле и слику наведену у променљивој ДОЦКЕРФИЛЕ. Све потребне датотеке можете преузети из спремишта: https://github.com/Swordfish-Security/docker_cicd/

Извод из мидоцкерфиле.дф (ово је апстрактна датотека са скупом произвољних инструкција само да би се показало како услужни програм функционише). Директна веза до датотеке: мидоцкерфиле.дф

Садржај мидоцкерфиле.дф

FROM amd64/node:10.16.0-alpine@sha256:f59303fb3248e5d992586c76cc83e1d3700f641cbcd7c0067bc7ad5bb2e5b489 AS tsbuild
COPY package.json .
COPY yarn.lock .
RUN yarn install
COPY lib lib
COPY tsconfig.json tsconfig.json
COPY tsconfig.app.json tsconfig.app.json
RUN yarn build
FROM amd64/ubuntu:18.04@sha256:eb70667a801686f914408558660da753cde27192cd036148e58258819b927395
LABEL maintainer="Rhys Arkins <[email protected]>"
LABEL name="renovate"
...
COPY php.ini /usr/local/etc/php/php.ini
RUN cp -a /tmp/piik/* /var/www/html/
RUN rm -rf /tmp/piwik
RUN chown -R www-data /var/www/html
ADD piwik-cli-setup /piwik-cli-setup
ADD reset.php /var/www/html/
## ENTRYPOINT ##
ADD entrypoint.sh /entrypoint.sh
ENTRYPOINT ["/entrypoint.sh"]
USER root

Конфигурација ИАМЛ-а изгледа овако (сама датотека се може наћи преко директне везе овде: .гитлаб-ци.имл):

Садржај .гитлаб-ци.имл

variables:
    DOCKER_HOST: "tcp://docker:2375/"
    DOCKERFILE: "mydockerfile.df" # name of the Dockerfile to analyse   
    DOCKERIMAGE: "bkimminich/juice-shop" # name of the Docker image to analyse
    # DOCKERIMAGE: "knqyf263/cve-2018-11235" # test Docker image with several CRITICAL CVE
    SHOWSTOPPER_PRIORITY: "CRITICAL" # what level of criticality will fail Trivy job
    TRIVYCACHE: "$CI_PROJECT_DIR/.cache" # where to cache Trivy database of vulnerabilities for faster reuse
    ARTIFACT_FOLDER: "$CI_PROJECT_DIR"
 
services:
    - docker:dind # to be able to build docker images inside the Runner
 
stages:
    - scan
    - report
    - publish
 
HadoLint:
    # Basic lint analysis of Dockerfile instructions
    stage: scan
    image: docker:git
 
    after_script:
    - cat $ARTIFACT_FOLDER/hadolint_results.json
 
    script:
    - export VERSION=$(wget -q -O - https://api.github.com/repos/hadolint/hadolint/releases/latest | grep '"tag_name":' | sed -E 's/.*"v([^"]+)".*/1/')
    - wget https://github.com/hadolint/hadolint/releases/download/v${VERSION}/hadolint-Linux-x86_64 && chmod +x hadolint-Linux-x86_64
     
    # NB: hadolint will always exit with 0 exit code
    - ./hadolint-Linux-x86_64 -f json $DOCKERFILE > $ARTIFACT_FOLDER/hadolint_results.json || exit 0
 
    artifacts:
        when: always # return artifacts even after job failure       
        paths:
        - $ARTIFACT_FOLDER/hadolint_results.json
 
Dockle:
    # Analysing best practices about docker image (users permissions, instructions followed when image was built, etc.)
    stage: scan   
    image: docker:git
 
    after_script:
    - cat $ARTIFACT_FOLDER/dockle_results.json
 
    script:
    - export VERSION=$(wget -q -O - https://api.github.com/repos/goodwithtech/dockle/releases/latest | grep '"tag_name":' | sed -E 's/.*"v([^"]+)".*/1/')
    - wget https://github.com/goodwithtech/dockle/releases/download/v${VERSION}/dockle_${VERSION}_Linux-64bit.tar.gz && tar zxf dockle_${VERSION}_Linux-64bit.tar.gz
    - ./dockle --exit-code 1 -f json --output $ARTIFACT_FOLDER/dockle_results.json $DOCKERIMAGE   
     
    artifacts:
        when: always # return artifacts even after job failure       
        paths:
        - $ARTIFACT_FOLDER/dockle_results.json
 
Trivy:
    # Analysing docker image and package dependencies against several CVE bases
    stage: scan   
    image: docker:git
 
    script:
    # getting the latest Trivy
    - apk add rpm
    - export VERSION=$(wget -q -O - https://api.github.com/repos/knqyf263/trivy/releases/latest | grep '"tag_name":' | sed -E 's/.*"v([^"]+)".*/1/')
    - wget https://github.com/knqyf263/trivy/releases/download/v${VERSION}/trivy_${VERSION}_Linux-64bit.tar.gz && tar zxf trivy_${VERSION}_Linux-64bit.tar.gz
     
    # displaying all vulnerabilities w/o failing the build
    - ./trivy -d --cache-dir $TRIVYCACHE -f json -o $ARTIFACT_FOLDER/trivy_results.json --exit-code 0 $DOCKERIMAGE    
    
    # write vulnerabilities info to stdout in human readable format (reading pure json is not fun, eh?). You can remove this if you don't need this.
    - ./trivy -d --cache-dir $TRIVYCACHE --exit-code 0 $DOCKERIMAGE    
 
    # failing the build if the SHOWSTOPPER priority is found
    - ./trivy -d --cache-dir $TRIVYCACHE --exit-code 1 --severity $SHOWSTOPPER_PRIORITY --quiet $DOCKERIMAGE
         
    artifacts:
        when: always # return artifacts even after job failure
        paths:
        - $ARTIFACT_FOLDER/trivy_results.json
 
    cache:
        paths:
        - .cache
 
Report:
    # combining tools outputs into one HTML
    stage: report
    when: always
    image: python:3.5
     
    script:
    - mkdir json
    - cp $ARTIFACT_FOLDER/*.json ./json/
    - pip install json2html
    - wget https://raw.githubusercontent.com/shad0wrunner/docker_cicd/master/convert_json_results.py
    - python ./convert_json_results.py
     
    artifacts:
        paths:
        - results.html

Ако је потребно, такође можете скенирати сачуване слике као .тар архиву (међутим, мораћете да промените улазне параметре за услужне програме у ИАМЛ датотеци)

Напомена: Триви захтева инсталиран рпм и git. У супротном ће генерисати грешке приликом скенирања слика заснованих на РедХат-у и добијања ажурирања базе података рањивости.

2. Након додавања датотека у спремиште, према упутствима у нашој конфигурационој датотеци, ГитЛаб ће аутоматски покренути процес прављења и скенирања. На картици ЦИ / ЦД → Цевоводи можете видети напредак упутстава.

Као резултат, имамо четири задатка. Три од њих су директно укључене у скенирање, а последњи (Извештај) прикупља једноставан извештај из раштрканих датотека са резултатима скенирања.

Триви подразумевано зауставља своје извршавање ако се на слици или зависностима пронађу КРИТИЧНЕ рањивости. У исто време, Хадолинт увек враћа Суццесс у коду за извршавање, пошто његово извршавање увек има напомене, што доводи до заустављања изградње.

У зависности од ваших специфичних захтева, можете да конфигуришете излазни код тако да када ови услужни програми открију проблеме одређене критичности, такође заустављају процес прављења. У нашем случају, изградња ће се зауставити само ако Триви открије рањивост са критичношћу коју смо навели у променљивој СХОВСТОППЕР у .гитлаб-ци.имл.


Резултат рада сваког услужног програма може се видети у евиденцији сваког задатка скенирања, директно у јсон датотекама у одељку артефаката или у једноставном ХТМЛ извештају (више о томе у наставку):


3. Да би се извештаји о корисности представили у мало читљивијој форми, мала Питхон скрипта се користи за претварање три јсон датотеке у једну ХТМЛ датотеку са табелом недостатака.
Ова скрипта се покреће посебним задатком Извештаја, а њен коначни артефакт је ХТМЛ датотека са извештајем. Извор скрипте се такође налази у спремишту и може се прилагодити вашим потребама, бојама итд.

Схелл скрипта

Друга опција је погодна за случајеве када треба да проверите Доцкер слике које нису у оквиру ЦИ/ЦД система, или морате да имате све инструкције у облику који се може извршити директно на хосту. Ову опцију покрива готова схелл скрипта која се може покренути на чистој виртуелној (или чак стварној) машини. Скрипта прати иста упутства као гитлаб-руннер изнад.

Да би скрипта успешно функционисала, Доцкер мора бити инсталиран на систему и тренутни корисник мора бити у групи за доцкер.

Сама скрипта се може наћи овде: доцкер_сец_цхецк.сх

На почетку датотеке, променљиве одређују коју слику треба скенирати и који дефекти критичности ће проузроковати да услужни програм Триви изађе са наведеним кодом грешке.

Током извршавања скрипте, сви услужни програми ће бити преузети у директоријум доцкер_тоолс, резултати њиховог рада - у именику доцкер_тоолс/јсон, а ХТМЛ са извештајем ће бити у датотеци резултати.хтмл.

Пример излаза скрипте

~/docker_cicd$ ./docker_sec_check.sh

[+] Setting environment variables
[+] Installing required packages
[+] Preparing necessary directories
[+] Fetching sample Dockerfile
2020-10-20 10:40:00 (45.3 MB/s) - ‘Dockerfile’ saved [8071/8071]
[+] Pulling image to scan
latest: Pulling from bkimminich/juice-shop
[+] Running Hadolint
...
Dockerfile:205 DL3015 Avoid additional packages by specifying `--no-install-recommends`
Dockerfile:248 DL3002 Last USER should not be root
...
[+] Running Dockle
...
WARN    - DKL-DI-0006: Avoid latest tag
        * Avoid 'latest' tag
INFO    - CIS-DI-0005: Enable Content trust for Docker
        * export DOCKER_CONTENT_TRUST=1 before docker pull/build
...
[+] Running Trivy
juice-shop/frontend/package-lock.json
=====================================
Total: 3 (UNKNOWN: 0, LOW: 1, MEDIUM: 0, HIGH: 2, CRITICAL: 0)

+---------------------+------------------+----------+---------+-------------------------+
|       LIBRARY       | VULNERABILITY ID | SEVERITY | VERSION |             TITLE       |
+---------------------+------------------+----------+---------+-------------------------+
| object-path         | CVE-2020-15256   | HIGH     | 0.11.4  | Prototype pollution in  |
|                     |                  |          |         | object-path             |
+---------------------+------------------+          +---------+-------------------------+
| tree-kill           | CVE-2019-15599   |          | 1.2.2   | Code Injection          |
+---------------------+------------------+----------+---------+-------------------------+
| webpack-subresource | CVE-2020-15262   | LOW      | 1.4.1   | Unprotected dynamically |
|                     |                  |          |         | loaded chunks           |
+---------------------+------------------+----------+---------+-------------------------+

juice-shop/package-lock.json
============================
Total: 20 (UNKNOWN: 0, LOW: 1, MEDIUM: 6, HIGH: 8, CRITICAL: 5)

...

juice-shop/package-lock.json
============================
Total: 5 (CRITICAL: 5)

...
[+] Removing left-overs
[+] Making the output look pretty
[+] Converting JSON results
[+] Writing results HTML
[+] Clean exit ============================================================
[+] Everything is done. Find the resulting HTML report in results.html

Доцкер слика са свим услужним програмима

Као трећу алтернативу, саставио сам два једноставна Доцкерфиле-а да бих направио слику помоћу сигурносних услужних програма. Један Доцкерфиле ће помоћи да се направи скуп за скенирање слике из спремишта, други (Доцкерфиле_тар) ће помоћи да се направи сет за скенирање тар датотеке са сликом.

1. Узимамо одговарајућу Доцкер датотеку и скрипте из спремишта https://github.com/Swordfish-Security/docker_cicd/tree/master/Dockerfile.
2. Покрените га за склапање:

docker build -t dscan:image -f docker_security.df .

3. Након што је градња завршена, креирајте контејнер од слике. Истовремено, прослеђујемо променљиву окружења ДОЦКЕРИМАГЕ са именом слике која нас занима и монтирамо Доцкерфиле који желимо да анализирамо са наше машине у датотеку /Доцкерфиле (имајте на уму да је потребна апсолутна путања до ове датотеке):

docker run --rm -v $(pwd)/results:/results -v $(pwd)/docker_security.df:/Dockerfile -e DOCKERIMAGE="bkimminich/juice-shop" dscan:image

[+] Setting environment variables
[+] Running Hadolint
/Dockerfile:3 DL3006 Always tag the version of an image explicitly
[+] Running Dockle
WARN    - DKL-DI-0006: Avoid latest tag
        * Avoid 'latest' tag
INFO    - CIS-DI-0005: Enable Content trust for Docker
        * export DOCKER_CONTENT_TRUST=1 before docker pull/build
INFO    - CIS-DI-0006: Add HEALTHCHECK instruction to the container image
        * not found HEALTHCHECK statement
INFO    - DKL-LI-0003: Only put necessary files
        * unnecessary file : juice-shop/node_modules/sqlite3/Dockerfile
        * unnecessary file : juice-shop/node_modules/sqlite3/tools/docker/architecture/linux-arm64/Dockerfile
        * unnecessary file : juice-shop/node_modules/sqlite3/tools/docker/architecture/linux-arm/Dockerfile
[+] Running Trivy
...
juice-shop/package-lock.json
============================
Total: 20 (UNKNOWN: 0, LOW: 1, MEDIUM: 6, HIGH: 8, CRITICAL: 5)
...
[+] Making the output look pretty
[+] Starting the main module ============================================================
[+] Converting JSON results
[+] Writing results HTML
[+] Clean exit ============================================================
[+] Everything is done. Find the resulting HTML report in results.html

Налази

Покрили смо само један основни скуп Доцкер услужних програма за скенирање артефаката, за који мислим да прилично ефикасно покрива добар део захтева за безбедност слике. Постоји много других плаћених и бесплатних алата који могу да врше исте провере, цртају прелепе извештаје или раде искључиво у режиму конзоле, покривају системе за управљање контејнерима, итд. Преглед ових алата и начина на који их интегришемо може се појавити мало касније.

Позитивна страна скупа алата описаних у чланку је да су сви изграђени на отвореном коду и да можете експериментисати са њима и другим сличним алатима да бисте пронашли шта тачно одговара вашим захтевима и инфраструктурним карактеристикама. Наравно, све рањивости које се пронађу треба проучити за применљивост у одређеним условима, али ово је тема за будући велики чланак.

Надам се да ће вам ова упутства, скрипте и услужни програми помоћи и постати полазна тачка за стварање сигурније инфраструктуре у области контејнеризације.

Извор: ввв.хабр.цом