🥇JMeter-testien suorittaminen OpenShiftissä käyttämällä Jenkins Pipeline

Hei kaikille!

Tässä artikkelissa haluan jakaa yhden tavoista suorittaa JMeterin suorituskykytestejä OpenShiftissä käyttämällä Jenkinsiä automaationa. Ensin teemme kaikki tarvittavat vaiheet (luomme ImageStreams, BuildConfig, Job jne.) manuaalisessa tilassa. Sen jälkeen kirjoitetaan Jenkins Pipeline.

Lähtökohtana meillä pitäisi olla:

käynnissä OpenShift (v3.11) -klusteri
Jenkins-palvelin, jossa on määritetty käyttöoikeustiedot toimimaan OpenShiftissä
файл apache-jmeter-5.2.tgz

Testeinä se on yksinkertainen HTTP Request päälle ya.ru yhdessä virrassa.

Projektin luominen OpenShiftissä

Aloitetaan luomalla uusi ympäristö. Luodaan perftest joukkueen ympäröimänä:

$ oc new-project perftest --display-name="Performance Tests" --description="Performance Tests - JMeter"

Meidät siirretään automaattisesti uuteen ympäristöön perftest, tarkistetaan, onko näin:

$ oc project
Using project "perftest" on server "https://127.0.0.1:8443".

Tallennustilan luominen

Testiraportit tallennetaan yhdessä web-palvelimen ja jmeter-meter'paikka - /jmeter/reports.

On parempi luoda Storajia nyt, koska PODit liitetään niihin jmeter-web и jmeter-master.

Tarkemmat tiedot säilytyksestä löydät virallisesta dokumentaatiosta Pysyvä varastointi.

Luodaan yaml-tiedostoja PV и PVC.

pv.yaml

$ tee pv.yaml<<EOF
apiVersion: v1
kind: PersistentVolume
metadata:
  name: jmeter-reports
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  glusterfs:
    endpoints: glusterfs-cluster
    path: /jmeter/reports
    readOnly: false
  persistentVolumeReclaimPolicy: Retain
EOF

pvc.yaml

$ tee pvc.yaml<<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: jmeter-reports
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi
EOF

Luodaan PV и PVC OpenShiftin ympäröimä:

$ oc create -f pv.yaml -n perftest
$ oc create -f pvc.yaml -n perftest

Tarkistetaan kohteen tilaa PVC:

$ oc get pvc -n perftest
NAME             STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
jmeter-reports   Bound     pvc-b0e5f152-db4b-11ea-a497-566f75280024   10Gi       RWX            glusterfs-storage   8m

Tältä se näyttää graafisessa käyttöliittymässä:

JMeter-peruskuvan luominen

Jatketaan luomista ImageStream и BuildConfig.

Löydät kaikki tarvittavat tiedot asiakirjoista - Rakennukset ja kuvavirrat.

Kuvanrakennusstrategia on Docker paikallisesta lähteestä.

Luodaan peruskuva jmeter-base, joka tulee olemaan perusta jmeter-master.

Dockerfile

FROM openjdk:8u212-jdk

ARG JMETER_VER="5.2"
ENV JMETER_HOME /jmeter/apache-jmeter-$JMETER_VER
ENV PATH $JMETER_HOME/bin:$PATH

RUN mkdir -p /jmeter/results 
    && mkdir /jmeter/tests

WORKDIR /jmeter

COPY apache-jmeter-$JMETER_VER.tgz .

RUN tar -xzf $JMETER_HOME.tgz 
    && rm $JMETER_HOME.tgz 
    && ls -la

RUN sed -i s/#server.rmi.ssl.disable=false/server.rmi.ssl.disable=true/ $JMETER_HOME/bin/jmeter.properties

EXPOSE 60000

is.yaml

$ tee is.yaml<<EOF
apiVersion: v1
kind: ImageStream
metadata:
  labels:
    build: jmeter-base
  name: jmeter-base
EOF

bc.yaml

$ tee bc.yaml<<EOF
apiVersion: v1
kind: BuildConfig
metadata:
  name: jmeter-base
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-base:latest'
  postCommit: {}
  resources: {}
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'openjdk:8u212-jdk'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

Luodaan esineitä IS и BC:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

Nyt kootaan peruskuva jmeter-base:

$ oc start-build jmeter-base -n perftest --from-dir=. --follow

JMeter WEB

jmeter-web Tämä on Apache-verkkopalvelin. Sen tehtävänä on tarjota testituloksia sisältävä hakemisto katseltavaksi.

Valmis Dockerfile ja asetustiedosto httpd.conf. Direktiiviä varten DocumentRoot arvo asetettu /jmeter/reports, eli hakemisto, johon testitulokset tallennetaan.

Dockerfile

$ tee Dockerfile<<EOF
FROM httpd:2.4

COPY httpd.conf /usr/local/apache2/conf/httpd.conf
RUN chmod -R 777 /usr/local/apache2/logs

EXPOSE 8080

CMD ["httpd", "-D", "FOREGROUND"]
EOF

is.yaml

$ tee is.yaml<<EOF
apiVersion: v1
kind: ImageStream
metadata:
  generation: 1
  labels:
    build: jmeter-web
  name: jmeter-web
EOF

bc.yaml

$ tee bc.yaml<<EOF
apiVersion: v1
kind: BuildConfig
metadata:
  name: jmeter-web
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-web:latest'
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'httpd:2.4'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

Luodaan ImageStream и BuildConfig esineet:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

Kuvan kerääminen kohteesta Dockerfile:

$ oc start-build jmeter-web -n perftest --from-dir=. --follow

dc.yaml

$ tee dc.yaml<<EOF
apiVersion: apps.openshift.io/v1
kind: DeploymentConfig
metadata:
  name: jmeter-web
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: jmeter-web
    spec:
      containers:
        - image: 172.30.1.1:5000/perftest/jmeter-web
          name: jmeter-web
          volumeMounts:
            - mountPath: /jmeter/reports
              name: jmeter-reports
          ports:
            - containerPort: 80
              protocol: TCP
            - containerPort: 8080
              protocol: TCP
      volumes:
        - name: jmeter-reports
          persistentVolumeClaim:
            claimName: jmeter-reports
EOF

sc.yaml

$ tee sc.yaml<<EOF
apiVersion: v1
kind: Service
metadata:
  labels:
    app: jmeter-web
  name: jmeter-web
spec:
  ports:
    - name: 8080-tcp
      port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    deploymentconfig: jmeter-web
  sessionAffinity: None
  type: ClusterIP
EOF

Luodaan esineitä Service и DeploymentConfig:

$ oc create -f sc.yaml -n perftest
$ oc create -f dc.yaml -n perftest

Jmeter-mestari

Aloitetaan Apache-verkkopalvelimen käyttöönotto.

Tämä on Docker-tiedosto jmeter-master'a, perustuen jmeter-base, joka suorittaa testejä ja tallentaa tulokset tallennustilaan.

Dockerfile

Dockerfile varten jmeter-master, perustuen jmeter-base.

FROM jmeter-base

ARG JMETER_VER="5.2"
ENV JMETER_HOME /jmeter/apache-jmeter-$JMETER_VER
ENV PATH $JMETER_HOME/bin:$PATH

WORKDIR /jmeter
COPY run.sh /jmeter/
COPY tests/*.jmx /jmeter/tests/
RUN chmod +x /jmeter/run.sh

ENTRYPOINT ["/bin/bash"]
CMD ["/jmeter/run.sh"]

run.sh

run.sh tämä on komentosarja, joka suorittaa JMeterin ja tallentaa tulokset hakemistoon files.

Aina kun komentosarja käynnistetään, se poistaa aiemmat testit, joten voit työskennellä vain uusimpien tietojen kanssa. Mutta tämä ei ole ongelma, koska voit muuttaa sitä tarpeidesi mukaan.

#!/bin/bash

set -e

if [ -d "/jmeter/reports/files" ]
then
    echo "Directory /jmeter/reports/files exist - OK"
else
    echo "Creating /jmeter/reports/files directory"
    mkdir /jmeter/reports/files
fi

if [ -d "/jmeter/reports/dashboards" ]
then
    echo "Directory /jmeter/reports/dashboards exist"
else
    echo "Creating /jmeter/reports/dashboards directory"
    mkdir /jmeter/reports/dashboards
fi

echo "*** JMeter START Tests ***"

for item in $(ls -1 /jmeter/tests | grep jmx)
do
    echo "*** Removing dashboard directory for $item"
    rm -rdf /jmeter/reports/dashboards/${item}*

    echo "*** Removing tests directory for $item"
    rm -rdf /jmeter/reports/files/${item}*

    echo "*** Testing a $item file ***"
    jmeter -n -t /jmeter/tests/${item} -l /jmeter/reports/files/${item}-report.jtl -e -o /jmeter/reports/dashboards/${item}-dash
done

is.yaml

$ tee is.yaml<<EOF
apiVersion: image.openshift.io/v1
kind: ImageStream
metadata:
  generation: 1
  labels:
    build: jmeter-master
  name: jmeter-master
EOF

bc.yaml

$ tee bc.yaml<<EOF
apiVersion: build.openshift.io/v1
kind: BuildConfig
metadata:
  name: jmeter-master
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-master:latest'
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'jmeter-base:latest'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

Luodaan IS и BC esineet:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

Keräämme jmeter-master kuva:

$ oc start-build jmeter-master -n perftest --from-dir=. --follow

Job

Jobon käytössä OpenShift'e ajaakseen yhtä tai useampaa PODja takaa niiden onnistuneen suorittamisen komennon/skriptin suorittamisen jälkeen.

$ tee job.yaml<<EOF
apiVersion: batch/v1
kind: Job
metadata:
  name: jmeter-master
  labels:
    jobName: jmeter-master
spec:
  completions: 1
  parallelism: 1
  template:
    metadata:
      name: jmeter-master
      labels:
        jobName: jmeter-master
    spec:
      containers:
        - name: jmeter-master
          image: 172.30.1.1:5000/perftest/jmeter-master:latest
          volumeMounts:
            - mountPath: /jmeter/reports
              name: jmeter-reports
          imagePullPolicy: Always
      volumes:
        - name: jmeter-reports
          persistentVolumeClaim:
            claimName: jmeter-reports
      restartPolicy: Never
      terminationGracePeriodSeconds: 30
EOF

Luo objekti Job:

$ oc create -f job.yaml -n perftest

Katsotaanpa työn tila:

$ oc get jobs -n perftest
NAME            DESIRED   SUCCESSFUL   AGE
jmeter-master   1         1            5m

Poistaaksesi Job käytetään komentoa:

$ oc delete jobs/jmeter-master -n perftest --ignore-not-found=true

Jenkins Pipeline

Nyt automaatio. Käydään läpi vaiheet uudelleen:

git clone
oc whoami -t
oc start-build ...
oc delete jobs/jmeter-master
oc create -f job.yaml -n perftest

Alla on putki, jossa arkiston kloonaus, poisto ja OpenShift-luonti suoritetaan Job's.

#!groovy

pipeline {

    agent any

    stages {

        stage('Start Notifications') {
            steps {
                echo "Sending Email Notification"
            }
            post {
                always {
                    echo "STARTED - Performance Tests"
                    mail(to: '[email protected]', from: "[email protected]", subject: "START - Performance Tests",mimeType: "text/html", body: "<strong>START - Performance Tests</strong><br /><br />Project: Name of Project<br />Environment: PerfTest<br />Build number: ${env.BUILD_NUMBER}<br />Build URL:   ${env.BUILD_URL}"
                }
            }
        }

        stage('Git checkout') {
            steps {
                ...
            }
        }

        stage('Perf Tests') {
            steps {
                script {
                    sh '''
                        OC_CMD1="oc login -u=username -p=PASS -n=perftest 
                        --server=https://...:8443"

                        $OC_CMD1

                        OC_TOKEN=`oc whoami -t`

                        OC_CMD2="oc --token=$OC_TOKEN --server=https://...:8443 
                        start-build jmeter-master -n=perftest --from-dir=./master 
                        --follow=true"

                        OC_CMD3="oc --token=$OC_TOKEN --server=https://...:8443 
                        delete jobs/jmeter-master -n=perftest --ignore-not-found=true"

                        OC_CMD4="oc--token=$OC_TOKEN --server=https://...:8443 
                        create -f ./master/job.yaml -n=perftest"

                        $OC_CMD2
                        $OC_CMD3
                        $OC_CMD4
                    '''
                }
            }
        }

        post {
            failure {
                echo "FAILED - Performance Tests"
                mail(to: '[email protected]', from: "[email protected]", subject: "FAILED - Performance Tests",mimeType: "text/html", body: "<strong>FAILED - Performance Tests</strong><br /><br />Project: Name of Project<br />Environment: PerfTest<br />Build number: ${env.BUILD_NUMBER}<br />Build URL: ${env.BUILD_URL}"
                }

            success {
                echo "SUCCESSED - Performance Tests"
                mail(to: '[email protected]', from: "[email protected]", subject: "SUCCESSED - Performance Tests",mimeType: "text/html", body: "<strong>SUCCESSED - Performance Tests</strong><br /><br />Project: Name of Project<br />Environment: PerfTest<br />Build number: ${env.BUILD_NUMBER}<br />Build URL:   ${env.BUILD_URL}"
            }
        }

    }
}

Kun Pipeline on lopettanut toimintansa, saamme ilmoituksen sähköpostitse '[email protected] alkaen [email protected].

Klikkaamalla linkkiä http://jmeter-web.127.0.0.1.nip.io/ katsotaan hakemisto files, joka tallentaa testiraportit:

Tiedoston sisältö ya.HTTP.Request.jmx-report.jtk:

timeStamp,elapsed,label,responseCode,responseMessage,threadName,dataType,success,failureMessage,bytes,sentBytes,grpThreads,allThreads,URL,Latency,IdleTime,Connect
1597311456443,569,Yandex - HTTP Request,200,Ok,Thread Group 1-1,text,true,,59449,220,1,1,https://ya.ru/,145,0,57
1597311456443,147,Yandex - HTTP Request-0,302,Found,Thread Group 1-1,,true,,478,110,1,1,http://ya.ru/,145,0,57
1597311456592,420,Yandex - HTTP Request-1,200,Ok,Thread Group 1-1,text,true,,58971,110,1,1,https://ya.ru/,370,0,259

Johtopäätös

Tämä artikkeli esitteli yhden vaihtoehdoista JMeter-testien suorittamiseen OpenShift-ympäristössä. Teimme kaikki vaiheet manuaalisesti, minkä jälkeen loimme Jenkins Pipelinen automatisoimaan testien suorittamisen.

Lähteet ja dokumentaatio

Lähde: will.com

JMeter-testien suorittaminen OpenShiftissä käyttämällä Jenkins Pipelinea

Projektin luominen OpenShiftissä

Tallennustilan luominen

JMeter-peruskuvan luominen

JMeter WEB

Jmeter-mestari

Jenkins Pipeline

Johtopäätös

Lähteet ja dokumentaatio

Lisää kommentti Peruuta vastaus