🥇Εκτέλεση δοκιμών JMeter στο OpenShift χρησιμοποιώντας Jenkins Pipeline

Γεια σε όλους!

Σε αυτό το άρθρο θέλω να μοιραστώ έναν από τους τρόπους εκτέλεσης δοκιμών απόδοσης JMeter στο OpenShift χρησιμοποιώντας το Jenkins ως αυτοματισμό. Πρώτα θα κάνουμε όλα τα απαραίτητα βήματα (δημιουργώντας ImageStreams, BuildConfig, Job κ.λπ.) σε χειροκίνητη λειτουργία. Μετά από αυτό, ας γράψουμε Jenkins Pipeline.

Ως αφετηρία θα πρέπει να έχουμε:

τρέχει το σύμπλεγμα OpenShift (v3.11).
Διακομιστής Jenkins με διαμορφωμένα διαπιστευτήρια για εργασία στο OpenShift
αρχείου apache-jmeter-5.2.tgz

Ως δοκιμές θα είναι απλό HTTP Request επί ya.ru σε ένα ρεύμα.

Δημιουργία έργου στο OpenShift

Ας ξεκινήσουμε δημιουργώντας ένα νέο περιβάλλον. Ας δημιουργήσουμε perftest που περιβάλλεται από μια ομάδα:

$ oc new-project perftest --display-name="Performance Tests" --description="Performance Tests - JMeter"

Θα μεταφερθούμε αυτόματα στο περιβάλλον που δημιουργήθηκε πρόσφατα perftest, ας ελέγξουμε ότι είναι έτσι:

$ oc project
Using project "perftest" on server "https://127.0.0.1:8443".

Δημιουργία Αποθήκευσης

Οι αναφορές δοκιμών θα αποθηκεύονται από κοινού με τον διακομιστή web και jmeter-meter'ένα μέρος - /jmeter/reports.

Είναι καλύτερα να δημιουργήσετε τα Storaj τώρα, γιατί τα POD θα συνδεθούν με αυτά jmeter-web и jmeter-master.

Αναλυτικές πληροφορίες για την αποθήκευση θα βρείτε στην επίσημη τεκμηρίωση Μόνιμη αποθήκευση.

Ας δημιουργήσουμε αρχεία yaml για PV и PVC.

pv.yaml

$ tee pv.yaml<<EOF
apiVersion: v1
kind: PersistentVolume
metadata:
  name: jmeter-reports
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  glusterfs:
    endpoints: glusterfs-cluster
    path: /jmeter/reports
    readOnly: false
  persistentVolumeReclaimPolicy: Retain
EOF

pvc.yaml

$ tee pvc.yaml<<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: jmeter-reports
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi
EOF

Ας δημιουργήσουμε PV и PVC που περιβάλλεται από OpenShift:

$ oc create -f pv.yaml -n perftest
$ oc create -f pvc.yaml -n perftest

Έλεγχος της κατάστασης για PVC:

$ oc get pvc -n perftest
NAME             STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
jmeter-reports   Bound     pvc-b0e5f152-db4b-11ea-a497-566f75280024   10Gi       RWX            glusterfs-storage   8m

Δείτε πώς θα μοιάζει στο GUI:

Δημιουργία εικόνας βάσης JMeter

Ας προχωρήσουμε στη δημιουργία ImageStream и BuildConfig.

Μπορείτε να βρείτε όλες τις απαραίτητες πληροφορίες στην τεκμηρίωση - Κατασκευές και Ροές Εικόνων.

Η στρατηγική δημιουργίας εικόνας είναι Docker από τοπική πηγή.

Ας δημιουργήσουμε μια εικόνα βάσης jmeter-base, που θα αποτελέσει τη βάση για jmeter-master.

Dockerfile

FROM openjdk:8u212-jdk

ARG JMETER_VER="5.2"
ENV JMETER_HOME /jmeter/apache-jmeter-$JMETER_VER
ENV PATH $JMETER_HOME/bin:$PATH

RUN mkdir -p /jmeter/results 
    && mkdir /jmeter/tests

WORKDIR /jmeter

COPY apache-jmeter-$JMETER_VER.tgz .

RUN tar -xzf $JMETER_HOME.tgz 
    && rm $JMETER_HOME.tgz 
    && ls -la

RUN sed -i s/#server.rmi.ssl.disable=false/server.rmi.ssl.disable=true/ $JMETER_HOME/bin/jmeter.properties

EXPOSE 60000

είναι.yaml

$ tee is.yaml<<EOF
apiVersion: v1
kind: ImageStream
metadata:
  labels:
    build: jmeter-base
  name: jmeter-base
EOF

π.χ.yaml

$ tee bc.yaml<<EOF
apiVersion: v1
kind: BuildConfig
metadata:
  name: jmeter-base
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-base:latest'
  postCommit: {}
  resources: {}
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'openjdk:8u212-jdk'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

Ας δημιουργήσουμε αντικείμενα IS и BC:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

Τώρα ας συναρμολογήσουμε την εικόνα βάσης jmeter-base:

$ oc start-build jmeter-base -n perftest --from-dir=. --follow

JMeter WEB

jmeter-web Αυτός είναι ένας διακομιστής ιστού Apache. Το καθήκον του είναι να παρέχει έναν κατάλογο με τα αποτελέσματα των δοκιμών για προβολή.

Ετοιμος Dockerfile και αρχείο ρυθμίσεων httpd.conf. Για οδηγία DocumentRoot σύνολο αξίας /jmeter/reports, δηλ. τον κατάλογο στον οποίο αποθηκεύονται τα αποτελέσματα των δοκιμών.

Dockerfile

$ tee Dockerfile<<EOF
FROM httpd:2.4

COPY httpd.conf /usr/local/apache2/conf/httpd.conf
RUN chmod -R 777 /usr/local/apache2/logs

EXPOSE 8080

CMD ["httpd", "-D", "FOREGROUND"]
EOF

είναι.yaml

$ tee is.yaml<<EOF
apiVersion: v1
kind: ImageStream
metadata:
  generation: 1
  labels:
    build: jmeter-web
  name: jmeter-web
EOF

π.χ.yaml

$ tee bc.yaml<<EOF
apiVersion: v1
kind: BuildConfig
metadata:
  name: jmeter-web
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-web:latest'
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'httpd:2.4'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

Ας δημιουργήσουμε ImageStream и BuildConfig αντικείμενα:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

Συλλέγοντας μια εικόνα από Dockerfile:

$ oc start-build jmeter-web -n perftest --from-dir=. --follow

dc.yaml

$ tee dc.yaml<<EOF
apiVersion: apps.openshift.io/v1
kind: DeploymentConfig
metadata:
  name: jmeter-web
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: jmeter-web
    spec:
      containers:
        - image: 172.30.1.1:5000/perftest/jmeter-web
          name: jmeter-web
          volumeMounts:
            - mountPath: /jmeter/reports
              name: jmeter-reports
          ports:
            - containerPort: 80
              protocol: TCP
            - containerPort: 8080
              protocol: TCP
      volumes:
        - name: jmeter-reports
          persistentVolumeClaim:
            claimName: jmeter-reports
EOF

sc.yaml

$ tee sc.yaml<<EOF
apiVersion: v1
kind: Service
metadata:
  labels:
    app: jmeter-web
  name: jmeter-web
spec:
  ports:
    - name: 8080-tcp
      port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    deploymentconfig: jmeter-web
  sessionAffinity: None
  type: ClusterIP
EOF

Ας δημιουργήσουμε αντικείμενα Service и DeploymentConfig:

$ oc create -f sc.yaml -n perftest
$ oc create -f dc.yaml -n perftest

Jmeter-master

Ας ξεκινήσουμε την ανάπτυξη του διακομιστή ιστού Apache.

Αυτό είναι το Dockerfile jmeter-master«α, με βάση jmeter-base, το οποίο θα εκτελέσει δοκιμές και θα αποθηκεύσει τα αποτελέσματα στην αποθήκευση.

Dockerfile

Dockerfile για jmeter-master, βασισμένο στο jmeter-base.

FROM jmeter-base

ARG JMETER_VER="5.2"
ENV JMETER_HOME /jmeter/apache-jmeter-$JMETER_VER
ENV PATH $JMETER_HOME/bin:$PATH

WORKDIR /jmeter
COPY run.sh /jmeter/
COPY tests/*.jmx /jmeter/tests/
RUN chmod +x /jmeter/run.sh

ENTRYPOINT ["/bin/bash"]
CMD ["/jmeter/run.sh"]

τρέχω.sh

run.sh αυτό είναι ένα σενάριο που εκτελεί το JMeter και αποθηκεύει τα αποτελέσματα σε έναν κατάλογο files.

Κάθε φορά που εκκινείται το σενάριο, διαγράφει προηγούμενες δοκιμές, ώστε να μπορείτε να εργαστείτε μόνο με τα πιο πρόσφατα δεδομένα. Αλλά αυτό δεν είναι πρόβλημα, γιατί μπορείτε να το αλλάξετε για να ταιριάζει στις ανάγκες σας.

#!/bin/bash

set -e

if [ -d "/jmeter/reports/files" ]
then
    echo "Directory /jmeter/reports/files exist - OK"
else
    echo "Creating /jmeter/reports/files directory"
    mkdir /jmeter/reports/files
fi

if [ -d "/jmeter/reports/dashboards" ]
then
    echo "Directory /jmeter/reports/dashboards exist"
else
    echo "Creating /jmeter/reports/dashboards directory"
    mkdir /jmeter/reports/dashboards
fi

echo "*** JMeter START Tests ***"

for item in $(ls -1 /jmeter/tests | grep jmx)
do
    echo "*** Removing dashboard directory for $item"
    rm -rdf /jmeter/reports/dashboards/${item}*

    echo "*** Removing tests directory for $item"
    rm -rdf /jmeter/reports/files/${item}*

    echo "*** Testing a $item file ***"
    jmeter -n -t /jmeter/tests/${item} -l /jmeter/reports/files/${item}-report.jtl -e -o /jmeter/reports/dashboards/${item}-dash
done

είναι.yaml

$ tee is.yaml<<EOF
apiVersion: image.openshift.io/v1
kind: ImageStream
metadata:
  generation: 1
  labels:
    build: jmeter-master
  name: jmeter-master
EOF

π.χ.yaml

$ tee bc.yaml<<EOF
apiVersion: build.openshift.io/v1
kind: BuildConfig
metadata:
  name: jmeter-master
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-master:latest'
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'jmeter-base:latest'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

Ας δημιουργήσουμε IS и BC αντικείμενα:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

Συλλέγουμε jmeter-master εικόνα:

$ oc start-build jmeter-master -n perftest --from-dir=. --follow

Δουλειά

Jobχρησιμοποιούνται σε OpenShiftΓια να τρέξετε ένα ή περισσότερα POD's και εγγυώνται την επιτυχή ολοκλήρωσή τους μετά την εκτέλεση της εντολής/script.

$ tee job.yaml<<EOF
apiVersion: batch/v1
kind: Job
metadata:
  name: jmeter-master
  labels:
    jobName: jmeter-master
spec:
  completions: 1
  parallelism: 1
  template:
    metadata:
      name: jmeter-master
      labels:
        jobName: jmeter-master
    spec:
      containers:
        - name: jmeter-master
          image: 172.30.1.1:5000/perftest/jmeter-master:latest
          volumeMounts:
            - mountPath: /jmeter/reports
              name: jmeter-reports
          imagePullPolicy: Always
      volumes:
        - name: jmeter-reports
          persistentVolumeClaim:
            claimName: jmeter-reports
      restartPolicy: Never
      terminationGracePeriodSeconds: 30
EOF

Δημιουργήστε ένα αντικείμενο Job:

$ oc create -f job.yaml -n perftest

Ας ελέγξουμε την κατάσταση της εργασίας:

$ oc get jobs -n perftest
NAME            DESIRED   SUCCESSFUL   AGE
jmeter-master   1         1            5m

Να διαγράψω Job ας χρησιμοποιήσουμε την εντολή:

$ oc delete jobs/jmeter-master -n perftest --ignore-not-found=true

Αγωγός Jenkins

Τώρα αυτοματισμός. Ας δούμε ξανά τα βήματα:

git clone
oc whoami -t
oc start-build ...
oc delete jobs/jmeter-master
oc create -f job.yaml -n perftest

Παρακάτω υπάρχει μια διοχέτευση στην οποία εκτελούνται κλωνοποίηση αποθετηρίου, διαγραφή και δημιουργία OpenShift Job'μικρό.

#!groovy

pipeline {

    agent any

    stages {

        stage('Start Notifications') {
            steps {
                echo "Sending Email Notification"
            }
            post {
                always {
                    echo "STARTED - Performance Tests"
                    mail(to: '[email protected]', from: "[email protected]", subject: "START - Performance Tests",mimeType: "text/html", body: "<strong>START - Performance Tests</strong><br /><br />Project: Name of Project<br />Environment: PerfTest<br />Build number: ${env.BUILD_NUMBER}<br />Build URL:   ${env.BUILD_URL}"
                }
            }
        }

        stage('Git checkout') {
            steps {
                ...
            }
        }

        stage('Perf Tests') {
            steps {
                script {
                    sh '''
                        OC_CMD1="oc login -u=username -p=PASS -n=perftest 
                        --server=https://...:8443"

                        $OC_CMD1

                        OC_TOKEN=`oc whoami -t`

                        OC_CMD2="oc --token=$OC_TOKEN --server=https://...:8443 
                        start-build jmeter-master -n=perftest --from-dir=./master 
                        --follow=true"

                        OC_CMD3="oc --token=$OC_TOKEN --server=https://...:8443 
                        delete jobs/jmeter-master -n=perftest --ignore-not-found=true"

                        OC_CMD4="oc--token=$OC_TOKEN --server=https://...:8443 
                        create -f ./master/job.yaml -n=perftest"

                        $OC_CMD2
                        $OC_CMD3
                        $OC_CMD4
                    '''
                }
            }
        }

        post {
            failure {
                echo "FAILED - Performance Tests"
                mail(to: '[email protected]', from: "[email protected]", subject: "FAILED - Performance Tests",mimeType: "text/html", body: "<strong>FAILED - Performance Tests</strong><br /><br />Project: Name of Project<br />Environment: PerfTest<br />Build number: ${env.BUILD_NUMBER}<br />Build URL: ${env.BUILD_URL}"
                }

            success {
                echo "SUCCESSED - Performance Tests"
                mail(to: '[email protected]', from: "[email protected]", subject: "SUCCESSED - Performance Tests",mimeType: "text/html", body: "<strong>SUCCESSED - Performance Tests</strong><br /><br />Project: Name of Project<br />Environment: PerfTest<br />Build number: ${env.BUILD_NUMBER}<br />Build URL:   ${env.BUILD_URL}"
            }
        }

    }
}

Αφού ολοκληρωθεί η λειτουργία του Pipeline, θα λάβουμε μια ειδοποίηση μέσω email '[email protected] από [email protected].

Κάνοντας κλικ στον σύνδεσμο http://jmeter-web.127.0.0.1.nip.io/ θα δούμε τον κατάλογο files, το οποίο αποθηκεύει αναφορές δοκιμών:

Περιεχόμενα αρχείου ya.HTTP.Request.jmx-report.jtk:

timeStamp,elapsed,label,responseCode,responseMessage,threadName,dataType,success,failureMessage,bytes,sentBytes,grpThreads,allThreads,URL,Latency,IdleTime,Connect
1597311456443,569,Yandex - HTTP Request,200,Ok,Thread Group 1-1,text,true,,59449,220,1,1,https://ya.ru/,145,0,57
1597311456443,147,Yandex - HTTP Request-0,302,Found,Thread Group 1-1,,true,,478,110,1,1,http://ya.ru/,145,0,57
1597311456592,420,Yandex - HTTP Request-1,200,Ok,Thread Group 1-1,text,true,,58971,110,1,1,https://ya.ru/,370,0,259

Συμπέρασμα

Αυτό το άρθρο παρουσίασε μία από τις επιλογές για την εκτέλεση δοκιμών JMeter στο περιβάλλον OpenShift. Ολοκληρώσαμε όλα τα βήματα χειροκίνητα και μετά δημιουργήσαμε το Jenkins Pipeline για να αυτοματοποιήσουμε τη διαδικασία εκτέλεσης δοκιμών.

Πηγές και τεκμηρίωση

Πηγή: www.habr.com

Εκτέλεση δοκιμών JMeter στο OpenShift χρησιμοποιώντας Jenkins Pipeline

Δημιουργία έργου στο OpenShift

Δημιουργία Αποθήκευσης

Δημιουργία εικόνας βάσης JMeter

JMeter WEB

Jmeter-master

Αγωγός Jenkins

Συμπέρασμα

Πηγές και τεκμηρίωση

Προσθέστε ένα σχόλιο Ακύρωση απάντησης