ProHoster > Blog > Administrare > Pornirea testelor JMeter în OpenShift, utilizând Jenkins Pipeline

Pornirea testelor JMeter în OpenShift, utilizând Jenkins Pipeline

Salut tuturor!

În acest articol vreau să împărtășesc una dintre metodele de lansare a testelor de performanță JMeter în OpenShift folosind Jenkins ca instrument de automatizare. Mai întâi, vom efectua toate acțiunile necesare (crearea ImageStreams, BuildConfig, Job și altele) manual. După aceea, vom scrie Jenkins Pipeline.

Ca punct de plecare, trebuie să avem:

  1. un cluster OpenShift funcțional (v3.11)
  2. Un server Jenkins cu acreditive configurate pentru a lucra în OpenShift
  3. fișier apache-jmeter-5.2.tgz

Teste simple HTTP Request pe ya.ru într-un singur fir.

Crearea unui proiect în OpenShift

Să începem cu crearea unui nou mediu. Vom crea perftest mediu cu comanda:

$ oc new-project perftest --display-name="Teste de Performanță" --description="Teste de Performanță - JMeter"

Vom fi automat redirecționați în mediu, perftestsă verificăm că este așa:

$ oc project
Utilizând proiectul "perftest" pe serverul "https://127.0.0.1:8443".

Crearea Storage-ului

Raportele testelor vor fi stocate într-o locație comună pentru serverul web și jmeter-meter'a — /jmeter/reports.

Cel mai bine este să creăm storage acum, deoarece podurile se vor baza pe ele jmeter-web și jmeter-master.

Informații mai detaliate despre storage-uri puteți găsi în documentația oficială Persistent Storage.

Să creăm fișiere yaml pentru PV și PVC.

pv.yaml

$ tee pv.yaml <<EOF
apiVersion: v1
kind: PersistentVolume
metadata:
  name: jmeter-reports
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  glusterfs:
    endpoints: glusterfs-cluster
    path: /jmeter/reports
    readOnly: false
  persistentVolumeReclaimPolicy: Retain
EOF

pvc.yaml

$ tee pvc.yaml <<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: jmeter-reports
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi
EOF

Să creăm PV și PVC în mediu OpenShift:

$ oc create -f pv.yaml -n perftest
$ oc create -f pvc.yaml -n perftest

Verificăm starea pentru PVC:

$ oc get pvc -n perftest
NAME             STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
jmeter-reports   Bound     pvc-b0e5f152-db4b-11ea-a497-566f75280024   10Gi       RWX            glusterfs-storage   8m

Iată cum va arăta în GUI:

Pornirea testelor JMeter în OpenShift, utilizând Jenkins Pipeline

Crearea imaginii de bază JMeter

Să trecem la crearea ImageStream și BuildConfig.

Toate informațiile necesare pot fi găsite în documentație — Builds and Image Streams.

Ca strategie de construirea imaginilor, se folosește Docker dintr-o sursă locală.

Să creăm imaginea de bază jmeter-base, care va fi baza pentru jmeter-master.

Dockerfile

FROM openjdk:8u212-jdk

ARG JMETER_VER="5.2"
ENV JMETER_HOME /jmeter/apache-jmeter-$JMETER_VER
ENV PATH $JMETER_HOME/bin:$PATH

RUN mkdir -p /jmeter/results 
    && mkdir /jmeter/tests

WORKDIR /jmeter

COPY apache-jmeter-$JMETER_VER.tgz .

RUN tar -xzf $JMETER_HOME.tgz 
    && rm $JMETER_HOME.tgz 
    && ls -la

RUN sed -i s/#server.rmi.ssl.disable=false/server.rmi.ssl.disable=true/ $JMETER_HOME/bin/jmeter.properties

EXPOSE 60000

is.yaml

$ tee is.yaml<<EOF
apiVersion: v1
kind: ImageStream
metadata:
  labels:
    build: jmeter-base
  name: jmeter-base
EOF

bc.yaml

$ tee bc.yaml<<EOF
apiVersion: v1
kind: BuildConfig
metadata:
  name: jmeter-base
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-base:latest'
  postCommit: {}
  resources: {}
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'openjdk:8u212-jdk'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

Vom să creăm obiecte IS și BC:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

Acum vom construi imaginea de bază jmeter-base:

$ oc start-build jmeter-base -n perftest --from-dir=. --follow

JMeter WEB

jmeter-web acesta este serverul web Apache. Sarcina sa este de a oferi un director cu rezultatele testării pentru vizualizare.

Pregătit Dockerfile și fișierul de configurare httpd.conf. Pentru directivele DocumentRoot valoarea este setată /jmeter/reports, adică, directorul în care sunt salvate rezultatele testării.

Dockerfile

$ tee Dockerfile<<EOF
FROM httpd:2.4

COPY httpd.conf /usr/local/apache2/conf/httpd.conf
RUN chmod -R 777 /usr/local/apache2/logs

EXPOSE 8080

CMD ["httpd", "-D", "FOREGROUND"]
EOF

is.yaml

$ tee is.yaml<<EOF
apiVersion: v1
kind: ImageStream
metadata:
  generation: 1
  labels:
    build: jmeter-web
  name: jmeter-web
EOF

bc.yaml

$ tee bc.yaml<<EOF
apiVersion: v1
kind: BuildConfig
metadata:
  name: jmeter-web
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-web:latest'
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'httpd:2.4'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

Să creăm ImageStream și BuildConfig obiecte:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

Construim imaginea din Dockerfile:

$ oc start-build jmeter-web -n perftest --from-dir=. --follow

dc.yaml

$ tee dc.yaml<<EOF
apiVersion: apps.openshift.io/v1
kind: DeploymentConfig
metadata:
  name: jmeter-web
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: jmeter-web
    spec:
      containers:
        - image: 172.30.1.1:5000/perftest/jmeter-web
          name: jmeter-web
          volumeMounts:
            - mountPath: /jmeter/reports
              name: jmeter-reports
          ports:
            - containerPort: 80
              protocol: TCP
            - containerPort: 8080
              protocol: TCP
      volumes:
        - name: jmeter-reports
          persistentVolumeClaim:
            claimName: jmeter-reports
EOF

sc.yaml

$ tee sc.yaml<<EOF
apiVersion: v1
kind: Service
metadata:
  labels:
    app: jmeter-web
  name: jmeter-web
spec:
  ports:
    - name: 8080-tcp
      port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    deploymentconfig: jmeter-web
  sessionAffinity: None
  type: ClusterIP
EOF

Vom să creăm obiecte Serviciu și DeploymentConfig:

$ oc create -f sc.yaml -n perftest
$ oc create -f dc.yaml -n perftest

Jmeter-master

Ne vom ocupa de implementarea serverului web Apache.

Acesta este Dockerfile jmeter-master‘a, bazat pe jmeter-base, care va rula teste și va salva rezultatele în stocare.

Dockerfile

Dockerfile pentru jmeter-master, bazat pe jmeter-base.

FROM jmeter-base

ARG JMETER_VER="5.2"
ENV JMETER_HOME /jmeter/apache-jmeter-$JMETER_VER
ENV PATH $JMETER_HOME/bin:$PATH

WORKDIR /jmeter
COPY run.sh /jmeter/
COPY tests/*.jmx /jmeter/tests/
RUN chmod +x /jmeter/run.sh

ENTRYPOINT ["/bin/bash"]
CMD ["/jmeter/run.sh"]

run.sh

run.sh este un script care executează JMeter și salvează rezultatele în director. files.

La fiecare execuție, scriptul șterge testele anterioare, astfel încât se poate lucra doar cu ultimele date. Dar aceasta nu este o problemă, deoarece poate fi modificat pentru nevoile tale.

#!/bin/bash

set -e

if [ -d "/jmeter/reports/files" ]
then
    echo "Directory /jmeter/reports/files exist - OK"
else
    echo "Creating /jmeter/reports/files directory"
    mkdir /jmeter/reports/files
fi

if [ -d "/jmeter/reports/dashboards" ]
then
    echo "Directory /jmeter/reports/dashboards exist"
else
    echo "Creating /jmeter/reports/dashboards directory"
    mkdir /jmeter/reports/dashboards
fi

echo "*** JMeter START Tests ***"

for item in $(ls -1 /jmeter/tests | grep jmx)
do
    echo "*** Removing dashboard directory for $item"
    rm -rdf /jmeter/reports/dashboards/${item}*

    echo "*** Removing tests directory for $item"
    rm -rdf /jmeter/reports/files/${item}*

    echo "*** Testing a $item file ***"
    jmeter -n -t /jmeter/tests/${item} -l /jmeter/reports/files/${item}-report.jtl -e -o /jmeter/reports/dashboards/${item}-dash
done

is.yaml

$ tee is.yaml<<EOF
apiVersion: image.openshift.io/v1
kind: ImageStream
metadata:
  generation: 1
  labels:
    build: jmeter-master
  name: jmeter-master
EOF

bc.yaml

$ tee bc.yaml<<EOF
apiVersion: build.openshift.io/v1
kind: BuildConfig
metadata:
  name: jmeter-master
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-master:latest'
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'jmeter-base:latest'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

Să creăm IS și BC obiecte:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

Construim jmeter-master imagine:

$ oc start-build jmeter-master -n perftest --from-dir=. --follow

Job

Job‘sunt folosite în OpenShift‘e pentru a rula unul sau mai multe POD‘uri și a garanta finalizarea cu succes după executarea comenzii/scenariului.

$ tee job.yaml<<EOF
apiVersion: batch/v1
kind: Job
metadata:
  name: jmeter-master
  labels:
    jobName: jmeter-master
spec:
  completions: 1
  parallelism: 1
  template:
    metadata:
      name: jmeter-master
      labels:
        jobName: jmeter-master
    spec:
      containers:
        - name: jmeter-master
          image: 172.30.1.1:5000/perftest/jmeter-master:latest
          volumeMounts:
            - mountPath: /jmeter/reports
              name: jmeter-reports
          imagePullPolicy: Always
      volumes:
        - name: jmeter-reports
          persistentVolumeClaim:
            claimName: jmeter-reports
      restartPolicy: Never
      terminationGracePeriodSeconds: 30
EOF

Creăm obiectul Job:

$ oc create -f job.yaml -n perftest

Să verificăm statusul job-ului:

$ oc get jobs -n perftest
NAME            DESIRED   SUCCESSFUL   AGE
jmeter-master   1         1            5m

Pentru a șterge Job vom utiliza comanda:

$ oc delete jobs/jmeter-master -n perftest --ignore-not-found=true

Jenkins Pipeline

Acum automatizare. Să repetăm pașii:

  1. git clone
  2. oc whoami -t
  3. oc start-build ...
  4. oc delete jobs/jmeter-master
  5. oc create -f job.yaml -n perftest

Mai jos este prezentat un pipeline, în care se realizează clonarea repository-ului, ștergerea și crearea OpenShift Job‘urilor.

#!groovy

pipeline {

    agent any

    stages {

        stage('Start Notifications') {
            steps {
                echo "Sending Email Notification"
            }
            post {
                always {
                    echo "STARTED - Performance Tests"
                    mail(to: 'username@srv.net', from: "jenkins@srv.net", subject: "START - Performance Tests",mimeType: "text/html", body: "<strong>ÎNCEPUT - Teste de Performanță</strong><br /><br />Proiect: Numele Proiectului<br />Mediu: PerfTest<br />Număr build: ${env.BUILD_NUMBER}<br />URL build:   ${env.BUILD_URL}"
                }
            }
        }

        stage('Git checkout') {
            steps {
                ...
            }
        }

        stage('Teste Perf') {
            steps {
                script {
                    sh '''
                        OC_CMD1="oc login -u=username -p=PASS -n=perftest 
                        --server=https://...:8443"

                        $OC_CMD1

                        OC_TOKEN=`oc whoami -t`

                        OC_CMD2="oc --token=$OC_TOKEN --server=https://...:8443 
                        start-build jmeter-master -n=perftest --from-dir=./master 
                        --follow=true"

                        OC_CMD3="oc --token=$OC_TOKEN --server=https://...:8443 
                        delete jobs/jmeter-master -n=perftest --ignore-not-found=true"

                        OC_CMD4="oc--token=$OC_TOKEN --server=https://...:8443 
                        create -f ./master/job.yaml -n=perftest"

                        $OC_CMD2
                        $OC_CMD3
                        $OC_CMD4
                    '''
                }
            }
        }

        post {
            failure {
                echo "EȘUAT - Teste de Performanță"
                mail(to: 'username@srv.net', from: "jenkins@srv.net", subject: "EȘUAT - Teste de Performanță",mimeType: "text/html", body: "<strong>EȘUAT - Teste de Performanță</strong><br /><br />Proiect: Numele Proiectului<br />Mediu: PerfTest<br />Număr build: ${env.BUILD_NUMBER}<br />URL build: ${env.BUILD_URL}"
                }

            success {
                echo "REUȘIT - Teste de Performanță"
                mail(to: 'username@srv.net', from: "jenkins@srv.net", subject: "REUȘIT - Teste de Performanță",mimeType: "text/html", body: "<strong>REUȘIT - Teste de Performanță</strong><br /><br />Proiect: Numele Proiectului<br />Mediu: PerfTest<br />Număr build: ${env.BUILD_NUMBER}<br />URL build:   ${env.BUILD_URL}"
            }
        }

    }
}

După ce Pipeline-ul a rulat, vom primi o notificare pe e-mail 'username@srv.net de la jenkins@srv.net.

Accesând linkul http://jmeter-web.127.0.0.1.nip.io/ vom vedea directorul files, în care se stochează raportele testelor:

Pornirea testelor JMeter în OpenShift, utilizând Jenkins Pipeline

Conținutul fișierului ya.HTTP.Request.jmx-report.jtk:

timeStamp,elapsed,label,responseCode,responseMessage,threadName,dataType,success,failureMessage,bytes,sentBytes,grpThreads,allThreads,URL,Latency,IdleTime,Connect
1597311456443,569,Yandex - HTTP Request,200,Ok,Thread Group 1-1,text,true,,59449,220,1,1,https://ya.ru/,145,0,57
1597311456443,147,Yandex - HTTP Request-0,302,Found,Thread Group 1-1,,true,,478,110,1,1,http://ya.ru/,145,0,57
1597311456592,420,Yandex - HTTP Request-1,200,Ok,Thread Group 1-1,text,true,,58971,110,1,1,https://ya.ru/,370,0,259

Concluzie

În acest articol a fost demonstrat una dintre modalitățile de a rula testele JMeter în mediul OpenShift. Am parcurs toate pașii manual, după care am creat un Jenkins Pipeline pentru automatizarea procesului de lansare a testelor.

Surse și documentație

Sursa: habr.com

Cumpără un hosting fiabil pentru site-uri cu protecție DDoS, servere VPS VDS 🔥 Cumpără un hosting fiabil pentru site-uri cu protecție DDoS, servere VPS VDS | ProHoster