Как да събирате проекти в Jenkins, ако имате нужда от много различни среди

На Хабре има много статии за Jenkins, но има малко примери за работа с Jenkins и Docker агенти. Всички популярни инструменти за изграждане на проекти като Drone.io, Bitbucket Pipeline, GitLab, GitHub actions и други, могат да изграждат всичко в контейнери. Но какво да кажем за Jenkins?

Към днешна дата има решение на проблема: Jenkins 2 отлично работи с Docker агенти. В статията искам да споделя опит и да покажа как можете да го направите сами.

Защо се занимавам с решаването на този проблем?

Тъй като в компанията Citronium използваме множество различни технологии, на строителната машина трябва да имаме различни версии на Node.JS, Gradle, Ruby, JDK и други. Но често не можем да избегнем конфликти между версиите. Да, прави сте, ако кажете, че има различни мениджъри на версии като nvm, rvm, но не всичко е толкова просто с тях и тези решения имат свои проблеми:

• голямо количество рантаймове, което разработчиците забравят да почистят;
• има конфликти между различни версии на едни и същи рантаймове;
• на всеки разработчик му трябва различен набор от компоненти.

Има и други проблеми, но по-добре ще разкажа за решението.

Jenkins в Docker

Тъй като Docker вече е добре утвърден в сферата на разработката, почти всичко може да бъде стартирано с помощта на Docker. Моето решение е да имаме Jenkins в Docker и той да може да стартира други Docker контейнери. Този въпрос се задава още през 2013 година в статията "Docker can now run within Docker«.

В кратце, просто е необходимо в работния контейнер да инсталирате самия Docker и да монтирате файла /var/run/docker.sock.

Ето пример на Dockerfile, който получихме за Jenkins.

FROM jenkins/jenkins:lts

USER root

RUN apt-get update && 

apt-get -y install apt-transport-https 
     ca-certificates 
     curl 
     gnupg2 
     git 
     software-properties-common && 
curl -fsSL https://download.docker.com/linux/$(. /etc/os-release; echo "$ID")/gpg > /tmp/dkey; apt-key add /tmp/dkey && 
add-apt-repository 
   "deb [arch=amd64] https://download.docker.com/linux/$(. /etc/os-release; echo "$ID") 
   $(lsb_release -cs) 
   stable" && 
apt-get update && 
apt-get -y install docker-ce && 
usermod -aG docker jenkins

RUN curl -L https://github.com/docker/compose/releases/download/1.25.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose && chmod +x /usr/local/bin/docker-compose 

RUN apt-get clean autoclean && apt-get autoremove —yes && rm -rf /var/lib/{apt,dpkg,cache,log}/

USER jenkins

По този начин получихме Docker контейнер, който може да изпълнява Docker команди на хост машината.

Настройка на изграждането

Не толкова отдавна Jenkins получи възможността да описва правилата си с помощта на Pipeline синтаксис, което позволява сравнително лесно променяне на скрипта за изграждане и неговото съхранение в репозитория.

Нека добавим в репозитория специален Dockerfile, който ще съдържа всички необходими библиотеки за изграждане. По този начин разработчикът ще може да подготви повторяема среда и няма да е необходимо да моли OPS да инсталира определена версия на Node.JS на хоста.

FROM node:12.10.0-alpine

RUN npm install yarn -g

Този сборен образ е подходящ за повечето Node.JS приложения. А ако например ви трябва образ за проект на JVM с вграден Sonar скенер? Вие сами можете да изберете необходимите компоненти за изграждане.

FROM adoptopenjdk/openjdk12:latest

RUN apt update 
    && apt install -y 
        bash unzip wget

RUN mkdir -p /usr/local/sonarscanner 
    && cd /usr/local/sonarscanner 
    && wget https://binaries.sonarsource.com/Distribution/sonar-scanner-cli/sonar-scanner-cli-3.3.0.1492-linux.zip 
    && unzip sonar-scanner-cli-3.3.0.1492-linux.zip 
    && mv sonar-scanner-3.3.0.1492-linux/* ./ 
    && rm sonar-scanner-cli-3.3.0.1492-linux.zip 
    && rm -rf sonar-scanner-3.3.0.1492-linux 
    && ln -s /usr/local/sonarscanner/bin/sonar-scanner /usr/local/bin/sonar-scanner

ENV PATH $PATH:/usr/local/sonarscanner/bin/
ENV SONAR_RUNNER_HOME /usr/local/sonarscanner/bin/

Описание на сборната среда, но каква е връзката с Jenkins? Jenkins агентите могат да работят с тези Docker образи и да провеждат сборката вътре в тях.

stage("Build project") {
    agent {
        docker {
            image "project-build:${DOCKER_IMAGE_BRANCH}"
            args "-v ${PWD}:/usr/src/app -w /usr/src/app"
            reuseNode true
            label "build-image"
        }
    }
    steps {
        sh "yarn"
        sh "yarn build"
    }
}

Директива агент използва свойство docker, където можете да посочите:

• името на сборния контейнер съгласно вашата политика за именуване;
• аргументите, необходими за стартиране на сборния контейнер, където в нашия случай монтираме текущата директория като директория вътре в контейнера.

А в стъпките за изграждане посочваме кои команди да изпълним вътре в сборния Docker агент. Това може да бъде всичко, по този начин аз също стартирам разгръщане на приложения с помощта на ansible.

По-долу искам да покажа общ Jenkinsfile, който може да изгради прост Node.JS проект.

def DOCKER_IMAGE_BRANCH = ""
def GIT_COMMIT_HASH = ""

pipeline { 
    options {
        buildDiscarder(
            logRotator(
                artifactDaysToKeepStr: "",
                artifactNumToKeepStr: "",
                daysToKeepStr: "",
                numToKeepStr: "10"
            )
        )
        disableConcurrentBuilds()
    }

    agent any

    stages {

        stage("Пригответе изображение на сборката") {
            steps {
                sh "docker build -f Dockerfile.build . -t project-build:${DOCKER_IMAGE_BRANCH}"
            }
        }

        stage("Създаване на проекта") {
            agent {
                docker {
                    image "project-build:${DOCKER_IMAGE_BRANCH}"
                    args "-v ${PWD}:\/usr\/src\/app -w \/usr\/src\/app"
                    reuseNode true
                    label "build-image"
                }
            }
            steps {
                sh "yarn"
                sh "yarn build"
            }
        }

    post {
        always {
            step([$class: "WsCleanup"])
            cleanWs()
        }
    }

}

Какво се получи?

С този метод решихме следните проблеми:

• времето за конфигуриране на средата за сборка е сведено до 10 — 15 минути за проект;
• пълно повторяемо среда за сборка на приложението, тъй като може да се събира и на локален компютър;
• няма проблеми с конфликтите на различни версии на инструментите за сборка;
• винаги чист работен пространствo, което не се натоварва.

Самото решение е просто и очевидно и позволява да получите само предимства. Да, входният праг е малко повишен в сравнение с простите команди за сборка, но сега има гаранция, че ще се сглобява винаги и разработчикът сам може да избере всичко, което е необходимо за неговия процес на сборка.

Също така можете да се възползвате от създадения от мен образ Jenkins + Docker. Всички изходни кодове са отворени и се намират на rmuhamedgaliev\/jenkins_docker.

По време на написването на статията възникна дискусия относно използването на агенти на отдалечени сървъри, за да не натоварваме основната нода с помощта на плъгина docker-plugin. Но за това ще разкажа в бъдеще.

Източник: habr.com