🥇הפעלת בדיקות JMeter ב-OpenShift באמצעות Jenkins Pipeline

שלום לכולם!

במאמר זה אני רוצה לשתף באחת הדרכים להפעיל מבחני ביצועים של JMeter ב-OpenShift באמצעות Jenkins כאוטומציה. ראשית נבצע את כל השלבים הדרושים (יצירת ImageStreams, BuildConfig, Job וכו') במצב ידני. אחרי זה, בוא נכתוב את Jenkins Pipeline.

כנקודת מוצא צריכה להיות לנו:

הפעלת אשכול OpenShift (v3.11).
שרת Jenkins עם אישורים מוגדרים לעבודה ב-OpenShift
файл apache-jmeter-5.2.tgz

בתור בדיקות זה יהיה פשוט HTTP Request על ya.ru בזרם אחד.

יצירת פרויקט ב-OpenShift

בואו נתחיל ביצירת סביבה חדשה. בואו ליצור perftest מוקף בצוות:

$ oc new-project perftest --display-name="Performance Tests" --description="Performance Tests - JMeter"

אנו נועבר אוטומטית לסביבה החדשה שנוצרה perftest, בוא נבדוק שזה כך:

$ oc project
Using project "perftest" on server "https://127.0.0.1:8443".

יצירת אחסון

דוחות בדיקה יאוחסנו במשותף עם שרת האינטרנט ו jmeter-meter'מקום - /jmeter/reports.

עדיף ליצור Storajs עכשיו, כי PODs יהיו קשורים אליהם jmeter-web и jmeter-master.

תוכל למצוא מידע מפורט יותר על אחסון בתיעוד הרשמי אחסון מתמשך.

בואו ניצור קבצי yaml עבור PV и PVC.

pv.yaml

$ tee pv.yaml<<EOF
apiVersion: v1
kind: PersistentVolume
metadata:
  name: jmeter-reports
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  glusterfs:
    endpoints: glusterfs-cluster
    path: /jmeter/reports
    readOnly: false
  persistentVolumeReclaimPolicy: Retain
EOF

pvc.yaml

$ tee pvc.yaml<<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: jmeter-reports
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi
EOF

בואו ליצור PV и PVC מוקף ב-OpenShift:

$ oc create -f pv.yaml -n perftest
$ oc create -f pvc.yaml -n perftest

בודק את הסטטוס עבור PVC:

$ oc get pvc -n perftest
NAME             STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
jmeter-reports   Bound     pvc-b0e5f152-db4b-11ea-a497-566f75280024   10Gi       RWX            glusterfs-storage   8m

כך זה ייראה ב-GUI:

יצירת תמונת JMeter Base

בואו נעבור ליצירה ImageStream и BuildConfig.

אתה יכול למצוא את כל המידע הדרוש בתיעוד - בניית וזרימת תמונות.

אסטרטגיית בניית התמונה היא Docker ממקור מקומי.

בואו ניצור תמונת בסיס jmeter-base, אשר יהיה הבסיס עבור jmeter-master.

דוקרפיל

FROM openjdk:8u212-jdk

ARG JMETER_VER="5.2"
ENV JMETER_HOME /jmeter/apache-jmeter-$JMETER_VER
ENV PATH $JMETER_HOME/bin:$PATH

RUN mkdir -p /jmeter/results 
    && mkdir /jmeter/tests

WORKDIR /jmeter

COPY apache-jmeter-$JMETER_VER.tgz .

RUN tar -xzf $JMETER_HOME.tgz 
    && rm $JMETER_HOME.tgz 
    && ls -la

RUN sed -i s/#server.rmi.ssl.disable=false/server.rmi.ssl.disable=true/ $JMETER_HOME/bin/jmeter.properties

EXPOSE 60000

is.yaml

$ tee is.yaml<<EOF
apiVersion: v1
kind: ImageStream
metadata:
  labels:
    build: jmeter-base
  name: jmeter-base
EOF

bc.yaml

$ tee bc.yaml<<EOF
apiVersion: v1
kind: BuildConfig
metadata:
  name: jmeter-base
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-base:latest'
  postCommit: {}
  resources: {}
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'openjdk:8u212-jdk'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

בואו ניצור חפצים IS и BC:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

עכשיו בואו נרכיב את תמונת הבסיס jmeter-base:

$ oc start-build jmeter-base -n perftest --from-dir=. --follow

JMeter WEB

jmeter-web זהו שרת אינטרנט של Apache. המשימה שלו היא לספק ספרייה עם תוצאות בדיקה לצפייה.

מוּכָן Dockerfile וקובץ תצורה httpd.conf. להנחיה DocumentRoot ערכת ערך /jmeter/reports, כלומר הספרייה שבה נשמרות תוצאות הבדיקה.

דוקרפיל

$ tee Dockerfile<<EOF
FROM httpd:2.4

COPY httpd.conf /usr/local/apache2/conf/httpd.conf
RUN chmod -R 777 /usr/local/apache2/logs

EXPOSE 8080

CMD ["httpd", "-D", "FOREGROUND"]
EOF

is.yaml

$ tee is.yaml<<EOF
apiVersion: v1
kind: ImageStream
metadata:
  generation: 1
  labels:
    build: jmeter-web
  name: jmeter-web
EOF

bc.yaml

$ tee bc.yaml<<EOF
apiVersion: v1
kind: BuildConfig
metadata:
  name: jmeter-web
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-web:latest'
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'httpd:2.4'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

בואו ליצור ImageStream и BuildConfig חפצים:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

איסוף תמונה מ Dockerfile:

$ oc start-build jmeter-web -n perftest --from-dir=. --follow

dc.yaml

$ tee dc.yaml<<EOF
apiVersion: apps.openshift.io/v1
kind: DeploymentConfig
metadata:
  name: jmeter-web
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: jmeter-web
    spec:
      containers:
        - image: 172.30.1.1:5000/perftest/jmeter-web
          name: jmeter-web
          volumeMounts:
            - mountPath: /jmeter/reports
              name: jmeter-reports
          ports:
            - containerPort: 80
              protocol: TCP
            - containerPort: 8080
              protocol: TCP
      volumes:
        - name: jmeter-reports
          persistentVolumeClaim:
            claimName: jmeter-reports
EOF

sc.yaml

$ tee sc.yaml<<EOF
apiVersion: v1
kind: Service
metadata:
  labels:
    app: jmeter-web
  name: jmeter-web
spec:
  ports:
    - name: 8080-tcp
      port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    deploymentconfig: jmeter-web
  sessionAffinity: None
  type: ClusterIP
EOF

בואו ניצור חפצים Service и DeploymentConfig:

$ oc create -f sc.yaml -n perftest
$ oc create -f dc.yaml -n perftest

Jmeter-master

בואו נתחיל לפרוס את שרת האינטרנט של Apache.

זהו ה-Dockerfile jmeter-master'א, מבוסס על jmeter-base, שיריץ בדיקות וישמור את התוצאות לאחסון.

דוקרפיל

Dockerfile עבור jmeter-master, מבוסס על jmeter-base.

FROM jmeter-base

ARG JMETER_VER="5.2"
ENV JMETER_HOME /jmeter/apache-jmeter-$JMETER_VER
ENV PATH $JMETER_HOME/bin:$PATH

WORKDIR /jmeter
COPY run.sh /jmeter/
COPY tests/*.jmx /jmeter/tests/
RUN chmod +x /jmeter/run.sh

ENTRYPOINT ["/bin/bash"]
CMD ["/jmeter/run.sh"]

run.sh

run.sh זהו סקריפט המריץ את JMeter ושומר את התוצאות בספרייה files.

בכל פעם שהסקריפט מופעל, הוא מוחק בדיקות קודמות, כך שתוכל לעבוד רק עם הנתונים העדכניים ביותר. אבל זו לא בעיה, כי אתה יכול לשנות את זה כדי להתאים לצרכים שלך.

#!/bin/bash

set -e

if [ -d "/jmeter/reports/files" ]
then
    echo "Directory /jmeter/reports/files exist - OK"
else
    echo "Creating /jmeter/reports/files directory"
    mkdir /jmeter/reports/files
fi

if [ -d "/jmeter/reports/dashboards" ]
then
    echo "Directory /jmeter/reports/dashboards exist"
else
    echo "Creating /jmeter/reports/dashboards directory"
    mkdir /jmeter/reports/dashboards
fi

echo "*** JMeter START Tests ***"

for item in $(ls -1 /jmeter/tests | grep jmx)
do
    echo "*** Removing dashboard directory for $item"
    rm -rdf /jmeter/reports/dashboards/${item}*

    echo "*** Removing tests directory for $item"
    rm -rdf /jmeter/reports/files/${item}*

    echo "*** Testing a $item file ***"
    jmeter -n -t /jmeter/tests/${item} -l /jmeter/reports/files/${item}-report.jtl -e -o /jmeter/reports/dashboards/${item}-dash
done

is.yaml

$ tee is.yaml<<EOF
apiVersion: image.openshift.io/v1
kind: ImageStream
metadata:
  generation: 1
  labels:
    build: jmeter-master
  name: jmeter-master
EOF

bc.yaml

$ tee bc.yaml<<EOF
apiVersion: build.openshift.io/v1
kind: BuildConfig
metadata:
  name: jmeter-master
spec:
  failedBuildsHistoryLimit: 5
  nodeSelector: null
  output:
    to:
      kind: ImageStreamTag
      name: 'jmeter-master:latest'
  runPolicy: Serial
  source:
    binary: {}
    type: Binary
  strategy:
    dockerStrategy:
      from:
        kind: ImageStreamTag
        name: 'jmeter-base:latest'
    type: Docker
  successfulBuildsHistoryLimit: 5
EOF

בואו ליצור IS и BC חפצים:

$ oc create -f is.yaml -n perftest
$ oc create -f bc.yaml -n perftest

אנו אוספים jmeter-master תמונה:

$ oc start-build jmeter-master -n perftest --from-dir=. --follow

עבודה

Jobמשתמשים ב OpenShift'e כדי להפעיל אחד או יותר PODומבטיחים את השלמתם המוצלחת לאחר ביצוע הפקודה/סקריפט.

$ tee job.yaml<<EOF
apiVersion: batch/v1
kind: Job
metadata:
  name: jmeter-master
  labels:
    jobName: jmeter-master
spec:
  completions: 1
  parallelism: 1
  template:
    metadata:
      name: jmeter-master
      labels:
        jobName: jmeter-master
    spec:
      containers:
        - name: jmeter-master
          image: 172.30.1.1:5000/perftest/jmeter-master:latest
          volumeMounts:
            - mountPath: /jmeter/reports
              name: jmeter-reports
          imagePullPolicy: Always
      volumes:
        - name: jmeter-reports
          persistentVolumeClaim:
            claimName: jmeter-reports
      restartPolicy: Never
      terminationGracePeriodSeconds: 30
EOF

צור אובייקט Job:

$ oc create -f job.yaml -n perftest

בואו נבדוק את מצב המשרה:

$ oc get jobs -n perftest
NAME            DESIRED   SUCCESSFUL   AGE
jmeter-master   1         1            5m

למחוק Job בוא נשתמש בפקודה:

$ oc delete jobs/jmeter-master -n perftest --ignore-not-found=true

צינור ג'נקינס

עכשיו אוטומציה. בוא נעבור שוב על השלבים:

git clone
oc whoami -t
oc start-build ...
oc delete jobs/jmeter-master
oc create -f job.yaml -n perftest

להלן צינור שבו מתבצע שיבוט, מחיקה ויצירת OpenShift של מאגר Jobשל.

#!groovy

pipeline {

    agent any

    stages {

        stage('Start Notifications') {
            steps {
                echo "Sending Email Notification"
            }
            post {
                always {
                    echo "STARTED - Performance Tests"
                    mail(to: '[email protected]', from: "[email protected]", subject: "START - Performance Tests",mimeType: "text/html", body: "<strong>START - Performance Tests</strong><br /><br />Project: Name of Project<br />Environment: PerfTest<br />Build number: ${env.BUILD_NUMBER}<br />Build URL:   ${env.BUILD_URL}"
                }
            }
        }

        stage('Git checkout') {
            steps {
                ...
            }
        }

        stage('Perf Tests') {
            steps {
                script {
                    sh '''
                        OC_CMD1="oc login -u=username -p=PASS -n=perftest 
                        --server=https://...:8443"

                        $OC_CMD1

                        OC_TOKEN=`oc whoami -t`

                        OC_CMD2="oc --token=$OC_TOKEN --server=https://...:8443 
                        start-build jmeter-master -n=perftest --from-dir=./master 
                        --follow=true"

                        OC_CMD3="oc --token=$OC_TOKEN --server=https://...:8443 
                        delete jobs/jmeter-master -n=perftest --ignore-not-found=true"

                        OC_CMD4="oc--token=$OC_TOKEN --server=https://...:8443 
                        create -f ./master/job.yaml -n=perftest"

                        $OC_CMD2
                        $OC_CMD3
                        $OC_CMD4
                    '''
                }
            }
        }

        post {
            failure {
                echo "FAILED - Performance Tests"
                mail(to: '[email protected]', from: "[email protected]", subject: "FAILED - Performance Tests",mimeType: "text/html", body: "<strong>FAILED - Performance Tests</strong><br /><br />Project: Name of Project<br />Environment: PerfTest<br />Build number: ${env.BUILD_NUMBER}<br />Build URL: ${env.BUILD_URL}"
                }

            success {
                echo "SUCCESSED - Performance Tests"
                mail(to: '[email protected]', from: "[email protected]", subject: "SUCCESSED - Performance Tests",mimeType: "text/html", body: "<strong>SUCCESSED - Performance Tests</strong><br /><br />Project: Name of Project<br />Environment: PerfTest<br />Build number: ${env.BUILD_NUMBER}<br />Build URL:   ${env.BUILD_URL}"
            }
        }

    }
}

לאחר ש-Pipeline תסיים את פעולתה, נקבל הודעה במייל '[email protected] מ [email protected].

בלחיצה על הקישור http://jmeter-web.127.0.0.1.nip.io/ נראה את הספרייה files, המאחסן דוחות בדיקה:

תוכן הקובץ ya.HTTP.Request.jmx-report.jtk:

timeStamp,elapsed,label,responseCode,responseMessage,threadName,dataType,success,failureMessage,bytes,sentBytes,grpThreads,allThreads,URL,Latency,IdleTime,Connect
1597311456443,569,Yandex - HTTP Request,200,Ok,Thread Group 1-1,text,true,,59449,220,1,1,https://ya.ru/,145,0,57
1597311456443,147,Yandex - HTTP Request-0,302,Found,Thread Group 1-1,,true,,478,110,1,1,http://ya.ru/,145,0,57
1597311456592,420,Yandex - HTTP Request-1,200,Ok,Thread Group 1-1,text,true,,58971,110,1,1,https://ya.ru/,370,0,259

מסקנה

מאמר זה הדגים את אחת האפשרויות להפעלת בדיקות JMeter בסביבת OpenShift. השלמנו את כל השלבים באופן ידני, ולאחר מכן יצרנו את Jenkins Pipeline כדי להפוך את תהליך הרצת הבדיקות לאוטומטי.

מקורות ותיעוד

מקור: www.habr.com

הפעלת בדיקות JMeter ב-OpenShift באמצעות Jenkins Pipeline

יצירת פרויקט ב-OpenShift

יצירת אחסון

יצירת תמונת JMeter Base

JMeter WEB

Jmeter-master

צינור ג'נקינס

מסקנה

מקורות ותיעוד

הוספת תגובה ביטול תגובה