„GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

Šis straipsnis skirtas „Java“ kūrėjams, kuriems reikia greitai paskelbti savo produktus „Sonatype“ ir (arba) „maven“ centrinėse saugyklose naudojant „GitLab“. Šiame straipsnyje kalbėsiu apie gitlab-runner, gitlab-ci ir maven-plugin nustatymą, kad išspręstumėte šią problemą.

Būtinos sąlygos:

  • Saugus mvn ir GPG raktų saugojimas.
  • Saugus viešųjų KI užduočių vykdymas.
  • Artefaktų (išleidimo / momentinės nuotraukos) įkėlimas į viešąsias saugyklas.
  • Automatinis leidimo versijų tikrinimas, kad būtų galima paskelbti Maven Central.
  • Bendras sprendimas artefaktams įkelti į saugyklą keliems projektams.
  • Paprastumas ir patogumas naudoti.

Turinys

Bendra informacija

  • Išsamus artefaktų paskelbimo Maven Central naudojant Sonatype OSS saugyklos prieglobos paslaugą mechanizmo aprašymas jau aprašytas Šis straipsnis Vartotojas „Googolplex“, todėl į šį straipsnį kreipsiuosi tinkamose vietose.
  • Išankstinė registracija tel Sonatipas JIRA ir atidarykite bilietą, kad atidarytumėte saugyklą (daugiau informacijos skaitykite skyriuje Sukurkite bilietą „Sonatype JIRA“.). Atidarius saugyklą, prisijungimo / slaptažodžio pora iš JIRA (toliau – Sonatype paskyra) bus naudojama artefaktams įkelti į Sonatype nexus.
  • Toliau labai sausai aprašomas GPG rakto generavimo procesas. Daugiau informacijos rasite skyriuje GnuPG konfigūravimas pasirašyti artefaktus
  • Jei naudojate Linux konsolę GPG raktui generuoti (gnupg/gnupg2), turite įdiegti rng-įrankiai entropijai sukurti. Priešingu atveju raktų generavimas gali užtrukti labai ilgai.
  • Sandėliavimo paslaugos viešas GPG raktai

Į turinį

Diegimo projekto nustatymas „GitLab“.

  • Visų pirma, turite sukurti ir sukonfigūruoti projektą, kuriame bus saugomas artefaktų diegimo dujotiekis. Savo projektą pavadinau paprastai ir nesudėtingai - dislokuoti
  • Sukūrę saugyklą, turite apriboti prieigą, kad galėtumėte pakeisti saugyklą.
    Eikite į projektą -> Nustatymai -> Saugykla -> Apsaugotos šakos. Ištriname visas taisykles ir pridedame vieną taisyklę su pakaitos simboliu * su teise stumti ir sujungti tik naudotojams, turintiems priežiūros vaidmenį. Ši taisyklė veiks visiems šio projekto ir grupės, kuriai priklauso šis projektas, naudotojams.
    „GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.
  • Jei yra keli prižiūrėtojai, geriausias sprendimas būtų iš principo apriboti prieigą prie projekto.
    Eikite į projektą -> Nustatymai -> Bendrieji -> Matomumas, projekto funkcijos, leidimai ir nustatykite Projekto matomumą Privatus.
    Turiu viešą prieigą prie projekto, nes naudoju savo „GitLab Runner“ ir tik aš turiu prieigą modifikuoti saugyklą. Na, iš tikrųjų aš nesuinteresuotas viešuose vamzdynų žurnaluose rodyti privačią informaciją.
  • Sugriežtintos saugyklos keitimo taisyklės
    Eikite į projektą -> Nustatymai -> Saugykla -> Push Rules ir nustatykite Komiteto apribojimą, Patikrinkite, ar autorius yra GitLab naudotojas. Taip pat rekomenduoju nustatyti įsipareigoti pasirašyti, ir nustatykite žymą Atmesti nepasirašytus įsipareigojimus.
  • Tada turite sukonfigūruoti paleidiklį, kad paleistumėte užduotis
    Eikite į projektas -> Nustatymai -> CI / CD -> Dujotiekio aktyvikliai ir sukurkite naują paleidimo prieigos raktą
    Šis prieigos raktas gali būti nedelsiant įtrauktas į bendrą projektų grupės kintamųjų konfigūraciją.
    Eikite į grupę -> Nustatymai -> CI / CD -> Kintamieji ir pridėkite kintamąjį DEPLOY_TOKEN su trigerio žetono verte.

Į turinį

GitLab bėgikas

Šiame skyriuje aprašoma konfigūracija, kaip vykdyti užduotis diegiant naudojant savo (specifinį) ir viešąjį (bendrąjį) paleidiklį.

Konkretus bėgikas

Naudoju savo bėgikus, nes, visų pirma, tai patogu, greita ir pigu.
Bėgikams rekomenduoju Linux VDS su 1 CPU, 2 GB RAM, 20 GB HDD. Emisijos kaina ~3000₽ per metus.

Mano bėgikas

Bėgikui paėmiau VDS 4 procesorių, 4 GB RAM, 50 GB SSD. Kainavo ~11000 XNUMX ₽ ir niekada dėl to nesigailėjau.
Iš viso turiu 7 mašinas. 5 ant aruba ir 2 ant ihor.

Taigi, mes turime bėgiką. Dabar mes jį nustatysime.
Einame į mašiną per SSH ir įdiegiame java, git, maven, gnupg2.

Į turinį

Gitlab runner diegimas

  • Sukurti naują grupę runner
    sudo groupadd runner
  • Sukurkite „maven“ talpyklos katalogą ir priskirkite grupės teises runner
    Galite praleisti šį punktą, jei neplanuojate leisti kelių bėgikų vienoje mašinoje.

    mkdir -p /usr/cache/.m2/repository
    chown -R :runner /usr/cache
    chmod -R 770 /usr/cache
  • Sukurti vartotoją gitlab-deployer ir pridėkite prie grupės runner
    useradd -m -d /home/gitlab-deployer gitlab-deployer
    usermod -a -G runner gitlab-deployer
  • Pridėti prie failo /etc/ssh/sshd_config kitą eilutę
    AllowUsers root@* [email protected]
  • Perkraukite sshd
    systemctl restart sshd
  • Slaptažodžio nustatymas vartotojui gitlab-deployer (tai gali būti paprasta, nes „localhost“ yra apribojimas)
    passwd gitlab-deployer
  • Įdiekite „GitLab Runner“ („Linux x86-64“)
    sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64
    sudo chmod +x /usr/local/bin/gitlab-runner
    ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner
    ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner
  • Eikite į gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners ir nukopijuokite registracijos prieigos raktą

Komoda

„GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

  • Bėgiko registracija
    gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml

procesas

Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded                     runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

  • Tikriname, ar bėgikas užsiregistravęs. Eikite į svetainę gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners suaktyvinti šiam projektui

Komoda

„GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

  • Pridėti atskirai tarnyba /etc/systemd/system/gitlab-deployer.service
    [Unit]
    Description=GitLab Deploy Runner
    After=syslog.target network.target
    ConditionFileIsExecutable=/usr/local/bin/gitlab-runner
    [Service]
    StartLimitInterval=5
    StartLimitBurst=10
    ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer"
    Restart=always
    RestartSec=120
    [Install]
    WantedBy=multi-user.target
  • Pradėkime paslaugą.
    systemctl enable gitlab-deployer.service
    systemctl start gitlab-deployer.service
    systemctl status gitlab-deployer.service
  • Patikriname, ar bėgikas bėga.

Pavyzdys

„GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

Į turinį

GPG raktų generavimas

  • Iš to paties kompiuterio prisijungiame per ssh pagal vartotoją gitlab-deployer (tai svarbu generuojant GPG raktą)

    ssh [email protected]

  • Raktą generuojame atsakydami į klausimus. Naudojau savo vardą ir el.
    Būtinai nurodykite rakto slaptažodį. Artefaktai bus pasirašyti šiuo raktu.

    gpg --gen-key 

  • Patikrinkite

    gpg --list-keys -a
    /home/gitlab-deployer/.gnupg/pubring.gpg
    ----------------------------------------
    pub   4096R/00000000 2019-04-19
    uid                  Petruha Petrov <[email protected]>
    sub   4096R/11111111 2019-04-19

  • Įkeliame viešąjį raktą į raktų serverį

    gpg --keyserver keys.gnupg.net --send-key 00000000
    gpg: sending key 00000000 to hkp server keys.gnupg.net

Į turinį

Maven sąranka

  • Mes pereiname prie vartotojo gitlab-deployer
    su gitlab-deployer 
  • Sukurkite maven katalogą Saugykla ir nuoroda į talpyklą (neklyskite)
    Galite praleisti šį punktą, jei neplanuojate leisti kelių bėgikų vienoje mašinoje.

    mkdir -p ~/.m2/repository
    ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository
  • Sukurkite pagrindinį raktą
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Sukurkite failą ~/.m2/settings-security.xml
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Slaptažodžio šifravimas iš Sonatype paskyros
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Sukurkite failą ~/.m2/settings.xml
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>SONATYPE_USERNAME</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

kur,
GPG_SECRET_KEY_PASSPHRASE – GPG rakto slaptažodis
SONATYPE_USERNAME – „sonatype“ paskyros prisijungimas

Tai baigia bėgiko sąranką, galite pereiti prie skyriaus „GitLab CI“

Į turinį

Bendras bėgikas

GPG raktų generavimas

  • Pirmiausia turite sukurti GPG raktą. Norėdami tai padaryti, įdiekite gnupg.

    yum install -y gnupg

  • Mes generuojame raktą atsakydami į klausimus. Naudojau savo vardą ir el. Būtinai nurodykite rakto slaptažodį.

    gpg --gen-key 

  • Gaukite pagrindinę informaciją

    gpg --list-keys -a
    pub   rsa3072 2019-04-24 [SC] [expires: 2021-04-23]
      2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    uid           [ultimate] tttemp <[email protected]>
    sub   rsa3072 2019-04-24 [E] [expires: none]

  • Įkeliame viešąjį raktą į raktų serverį

    gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net

  • Gauname privatų raktą

    gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    -----BEGIN PGP PRIVATE KEY BLOCK-----
    lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5
    ...
    =2Wd2
    -----END PGP PRIVATE KEY BLOCK-----

  • Eikite į projekto nustatymai -> Nustatymai -> CI / CD -> Kintamieji ir išsaugokite privatų raktą kintamajame GPG_SECRET_KEY
    „GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

Į turinį

Maven sąranka

  • Sukurkite pagrindinį raktą
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Eikite į projekto nustatymai -> Nustatymai -> CI / CD -> Kintamieji ir išsaugokite kintamajame SETTINGS_SECURITY_XML šias eilutes:
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Slaptažodžio šifravimas iš Sonatype paskyros
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Eikite į projekto nustatymai -> Nustatymai -> CI / CD -> Kintamieji ir išsaugokite kintamajame SETTINGS_XML šias eilutes:
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>sonatype_username</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

kur,
GPG_SECRET_KEY_PASSPHRASE – GPG rakto slaptažodis
SONATYPE_USERNAME – „sonatype“ paskyros prisijungimas

Į turinį

Įdiekite „Docker“ vaizdą

  • Sukuriame gana paprastą „Dockerfile“, kad galėtume vykdyti diegimo užduotis su reikiama „Java“ versija. Žemiau pateikiamas Alpių pavyzdys.

    FROM java:8u111-jdk-alpine
    RUN apk add gnupg maven git --update-cache 
    --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && 
    mkdir ~/.m2/

  • Konteinerio kūrimas jūsų projektui

    docker build -t registry.gitlab.com/group/deploy .

  • Mes autentifikuojame ir įkeliame konteinerį į registrą.

    docker login -u USER -p PASSWORD registry.gitlab.com
    docker push registry.gitlab.com/group/deploy

Į turinį

„GitLab CI“

Diegti projektą

Pridėkite .gitlab-ci.yml failą į diegimo projekto šaknį
Scenarijus pateikia dvi viena kitą paneigiančias diegimo užduotis. Atitinkamai konkretus bėgikas arba bendras bėgikas.

.gitlab-ci.yml

stages:
  - deploy

Specific Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на вашем shell-раннере
  tags:
    - deploy

Shared Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на публичном docker-раннере
  tags:
    - docker
  # Образ из раздела GitLab Runner -> Shared Runner -> Docker
  image: registry.gitlab.com/group/deploy-project:latest
  before_script:
    # Импортируем GPG ключ
    - printf "${GPG_SECRET_KEY}" | gpg --batch --import
    # Сохраняем maven конфигурацию
    - printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
    - printf "${SETTINGS_XML}" > ~/.m2/settings.xml

.java_deploy_template:
  stage: deploy
  # Задача сработает по триггеру, если передана переменная DEPLOY со значением java
  only:
    variables:
    - $DEPLOY == "java"
  variables:
    # отключаем клонирование текущего проекта
    GIT_STRATEGY: none
  script:
    # Предоставляем возможность хранения пароля в незашифрованном виде
    - git config --global credential.helper store
    # Сохраняем временные креды пользователя gitlab-ci-token
    # Токен работает для всех публичных проектов gitlab.com и для проектов группы
    - echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
    # Полностью чистим текущую директорию
    - rm -rf .* *
    # Клонируем проект который, будем деплоить в Sonatype Nexus
    - git clone ${DEPLOY_CI_REPOSITORY_URL} .
    # Переключаемся на нужный коммит
    - git checkout ${DEPLOY_CI_COMMIT_SHA} -f
    # Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
    # В противном случае есть риск залить сырые артефакты в maven central
    - >
      for pom in $(find . -name pom.xml); do
        if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
          echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
          exit 1;
        fi;
      done
    # Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
    - >
      if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
        mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
      else
        VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
        if [[ "${VERSION}" == *-SNAPSHOT ]]; then
          mvn versions:set -DnewVersion=${VERSION}
        else
          mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
        fi
      fi
    # Запускаем задачу на сборку и деплой артефактов
    - mvn clean deploy -DskipTests=true

Į turinį

Java projektas

„Java“ projektuose, kurie turėtų būti įkelti į viešąsias saugyklas, turite pridėti 2 veiksmus, kad atsisiųstumėte „Release“ ir „Snapshot“ versijas.

.gitlab-ci.yml

stages:
  - build
  - test
  - verify
  - deploy

<...>

Release:
  extends: .trigger_deploy
  # Запускать задачу только пo тегу.
  only:
    - tags

Snapshot:
  extends: .trigger_deploy
  # Запускаем задачу на публикацию SNAPSHOT версии вручную
  when: manual
  # Не запускать задачу, если проставлен тег.
  except:
    - tags

.trigger_deploy:
  stage: deploy
  variables:
    # Отключаем клонирование текущего проекта
    GIT_STRATEGY: none
    # Ссылка на триггер deploy-задачи
    URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
    # Переменные deploy-задачи
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
    # Не использую cURL, так как с флагами --fail --show-error
    # он не выводит тело ответа, если HTTP код 400 и более 
    - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

Šiame sprendime nuėjau šiek tiek toliau ir nusprendžiau naudoti vieną CI šabloną java projektams.

Daugiau informacijos

Sukūriau atskirą projektą gitlab-ci kuriame jis įdėjo Java projektų CI šabloną bendras.yml.

bendras.yml

stages:
  - build
  - test
  - verify
  - deploy

variables:
  SONAR_ARGS: "
  -Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA} 
  -Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME} 
  "

.build_java_project:
  stage: build
  tags:
    - touchbit-shell
  variables:
    SKIP_TEST: "false"
  script:
    - mvn clean
    - mvn package -DskipTests=${SKIP_TEST}
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.build_sphinx_doc:
  stage: build
  tags:
    - touchbit-shell
  variables:
    DOCKERFILE: .indirect/docs/Dockerfile
  script:
    - docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .

.junit_module_test_run:
  stage: test
  tags:
    - touchbit-shell
  variables:
    MODULE: ""
  script:
    - cd ${MODULE}
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.junit_test_run:
  stage: test
  tags:
    - touchbit-shell
  script:
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
    - "*/target/reports"

.sonar_review:
  stage: verify
  tags:
    - touchbit-shell
  dependencies: []
  script:
    - >
      if [ "$CI_BUILD_REF_NAME" == "master" ]; then
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
      else
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
      fi

.trigger_deploy:
  stage: deploy
  tags:
    - touchbit-shell
  variables:
    URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
  - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

.trigger_release_deploy:
  extends: .trigger_deploy
  only:
    - tags

.trigger_snapshot_deploy:
  extends: .trigger_deploy
  when: manual
  except:
    - tags

Dėl to pačiuose „Java“ projektuose .gitlab-ci.yml atrodo labai kompaktiškas ir nereikšmingas

.gitlab-ci.yml

include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml

Shields4J:
  extends: .build_java_project

Sphinx doc:
  extends: .build_sphinx_doc
  variables:
    DOCKERFILE: .docs/Dockerfile

Sonar review:
  extends: .sonar_review
  dependencies:
    - Shields4J

Release:
  extends: .trigger_release_deploy

Snapshot:
  extends: .trigger_snapshot_deploy

Į turinį

Pom.xml konfigūracija

Ši tema aprašyta labai išsamiai. „Googolplex“ в „Maven“ nustatymas automatiškai pasirašyti ir įkelti artefaktus į momentinių nuotraukų ir sustojimo saugyklas, todėl aprašysiu kai kuriuos įskiepių naudojimo niuansus. Taip pat aprašysiu, kaip lengvai ir ramiai galite naudotis nexus-staging-maven-pluginjei nenorite arba negalite naudoti org.sonatype.oss:oss-parent kaip pagrindinį savo projektą.

maven-install-plugin

Įdiegia modulius į vietinę saugyklą.
Labai naudinga vietiniam sprendimų patikrinimui kituose projektuose, taip pat kontrolinei sumai.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-install-plugin</artifactId>
  <executions>
    <execution>
      <id>install-project</id>
      <!-- Если у вас многомодульный проект с деплоем родительского помика -->
      <phase>install</phase>
      <!-- Явно указываем файлы для локальной установки -->
      <configuration>
        <file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
        <pomFile>dependency-reduced-pom.xml</pomFile>
        <!-- Принудительное обновление метаданных проекта -->
        <updateReleaseInfo>true</updateReleaseInfo>
        <!-- Контрольные суммы для проверки целостности -->
        <createChecksum>true</createChecksum>
      </configuration>
    </execution>
  </executions>
</plugin>

Į turinį

maven-javadoc-plugin

Projektui generuojamas javadoc.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-javadoc-plugin</artifactId>
  <executions>
    <execution>
      <goals>
        <goal>jar</goal>
      </goals>
      <!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
      <phase>prepare-package</phase>
      <configuration>
        <!-- Очень помогает в публичных проектах -->
        <failOnError>true</failOnError>
        <failOnWarnings>true</failOnWarnings>
        <!-- Убирает ошибку поиска документации в target директории -->
        <detectOfflineLinks>false</detectOfflineLinks>
      </configuration>
    </execution>
  </executions>
</plugin>

Jei turite modulį, kuriame nėra Java (pavyzdžiui, tik ištekliai)
Arba iš principo nenorite generuoti javadoc, tada padėkite maven-jar-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-jar-plugin</artifactId>
  <executions>
    <execution>
      <id>empty-javadoc-jar</id>
      <phase>generate-resources</phase>
      <goals>
        <goal>jar</goal>
      </goals>
      <configuration>
        <classifier>javadoc</classifier>
        <classesDirectory>${basedir}/javadoc</classesDirectory>
      </configuration>
    </execution>
  </executions>
</plugin>

Į turinį

maven-gpg-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-gpg-plugin</artifactId>
  <executions>
    <execution>
      <id>sign-artifacts</id>
      <!-- Сборка будет падать, если отсутствует GPG ключ -->
      <!-- Подписываем артефакты только на фазе deploy -->
      <phase>deploy</phase>
      <goals>
        <goal>sign</goal>
      </goals>
    </execution>
  </executions>
</plugin>

Į turinį

nexus-staging-maven-plugin

Konfigūracija:

<project>
  <!-- ... -->
  <build>
    <plugins>
      <!-- ... -->
      <plugin>
        <groupId>org.sonatype.plugins</groupId>
        <artifactId>nexus-staging-maven-plugin</artifactId>
      </plugin>
    </plugins>
    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.sonatype.plugins</groupId>
          <artifactId>nexus-staging-maven-plugin</artifactId>
          <extensions>true</extensions>
          <configuration>
            <serverId>sonatype</serverId>
            <nexusUrl>https://oss.sonatype.org/</nexusUrl>
            <!-- Обновляем метаданные, чтобы пометить артефакт как release -->
            <!-- Не влияет на snapshot версии -->
            <updateReleaseInfo>true</updateReleaseInfo>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-deploy-plugin</artifactId>
          <configuration>
            <!-- Отключаем плагин -->
            <skip>true</skip>
          </configuration>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
  <distributionManagement>
    <snapshotRepository>
      <id>sonatype</id>
      <name>Nexus Snapshot Repository</name>
      <url>https://oss.sonatype.org/content/repositories/snapshots/</url>
    </snapshotRepository>
    <repository>
      <id>sonatype</id>
      <name>Nexus Release Repository</name>
      <url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
    </repository>
  </distributionManagement>
</project>

Jei turite kelių modulių projektą ir jums nereikia įkelti konkretaus modulio į saugyklą, turite pridėti prie šio modulio pom.xml nexus-staging-maven-plugin su vėliava skipNexusStagingDeployMojo

<build>
  <plugins>
    <plugin>
      <groupId>org.sonatype.plugins</groupId>
      <artifactId>nexus-staging-maven-plugin</artifactId>
      <configuration>
        <skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
      </configuration>
    </plugin>
  </plugins>
</build>

Atsisiuntus momentinės nuotraukos / leidimo versijos yra prieinamos sustojimo saugyklos

<repositories>
  <repository>
    <id>SonatypeNexus</id>
    <url>https://oss.sonatype.org/content/groups/staging/</url>
    <!-- Не надо указывать флаги snapshot/release для репозитория -->
  </repository>
</repositories>

Daugiau pliusų

  • Labai gausus darbo su „Nexus“ saugykla tikslų sąrašas (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
  • Automatinis išleidimo patikrinimas įkeliant į Maven central

Į turinį

Rezultatas

SNAPSHOT versijos paskelbimas

Kuriant projektą galima rankiniu būdu paleisti užduotį, kad būtų galima atsisiųsti SNAPSHOT versiją į nexus

„GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

Kai ši užduotis paleidžiama, suaktyvinama atitinkama užduotis diegimo projekte (pavyzdys).

apkarpytas rąstas

Running with gitlab-runner 11.10.0 (3001a600)
  on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
  git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0                                           [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO] 
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO]     Updating project org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:client
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:test-core
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:testng
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:client
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT                                  [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO]  * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [  2.375 s]
[INFO] test-core .......................................... SUCCESS [  3.929 s]
[INFO] Shields4J client ................................... SUCCESS [  3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------

Dėl to versija įkeliama į nexus 1.0.0 – momentinė nuotrauka.

Visas momentinių nuotraukų versijas galima ištrinti iš svetainėje esančios saugyklos oss.sonatype.org pagal savo sąskaitą.

„GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

Į turinį

Skelbiama leidimo versija

Nustačius žymą, atitinkama diegimo projekto užduotis automatiškai suaktyvinama, kad leidimo versija būtų įkelta į nexus (pavyzdys).

„GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

Geriausia tai, kad „Nexus“ automatiškai suaktyvinamas uždaras atleidimas.

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1037".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  9.603 s]
[INFO] test-core .......................................... SUCCESS [  3.419 s]
[INFO] Shields4J client ................................... SUCCESS [  9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------

Ir jei kažkas nutiko ne taip, tada užduotis nepavyks

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1038".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR] 
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR] 
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR]   Rule "signature-staging" failures
[ERROR]     * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on &lt;a href=http://keys.gnupg.net:11371/&gt;http://keys.gnupg.net:11371/&lt;/a&gt;. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  4.073 s]
[INFO] test-core .......................................... SUCCESS [  2.788 s]
[INFO] Shields4J client ................................... SUCCESS [  3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------

Dėl to mums lieka tik vienas pasirinkimas. Ištrinkite šią versiją arba paskelbkite ją.

„GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

Po išleidimo, po kurio laiko, artefaktai bus viduje „GitLab CI“ nustatymas įkelti „Java“ projektą į „maven central“.

ne į temą

Man buvo atradimas, kad „maven“ indeksuoja kitas viešąsias saugyklas.
Turėjau įkelti robots.txt, nes jis indeksavo mano seną saugyklą.

Į turinį

išvada

Ką mes turime

  • Atskiras diegimo projektas, kuriame galite įgyvendinti keletą CI užduočių, skirtų įvairioms kūrimo kalboms įkelti artefaktus į viešąsias saugyklas.
  • Diegimo projektas yra izoliuotas nuo išorinių trukdžių ir jį gali keisti tik savininko ir prižiūrėtojo vaidmenis turintys vartotojai.
  • Atskiras konkretus bėgikas su „karšta“ talpykla, skirtas vykdyti tik diegimo užduotis.
  • Momentinių nuotraukų / leidimo versijų publikavimas viešoje saugykloje.
  • Automatinis leidimo versijos patikrinimas, ar ji parengta publikuoti Maven Central.
  • Apsauga nuo automatinio „neapdorotų“ versijų paskelbimo „maven central“.
  • Sukurkite ir paskelbkite momentines versijas „spustelėjus“.
  • Viena saugykla momentinių nuotraukų / leidimo versijoms gauti.
  • Bendras java projekto kūrimo/testavimo/publikavimo vamzdynas.

„GitLab CI“ nustatymas nėra tokia sudėtinga tema, kaip atrodo iš pirmo žvilgsnio. Pakanka porą kartų nustatyti CI raktų principu, o dabar jūs toli gražu nėra mėgėjas šiuo klausimu. Be to, „GitLab“ dokumentacija yra labai nereikalinga. Nebijokite žengti pirmojo žingsnio. Kelias atsiranda po einančio žmogaus laiptais (nepamenu, kas tai pasakė :)

Man bus malonu gauti atsiliepimų.

Kitame straipsnyje parodysiu, kaip nustatyti „GitLab CI“, kad integracijos bandymo užduotis būtų vykdoma konkurencingai (paleisti bandymo paslaugas naudojant „docker-compose“), jei turite tik vieną apvalkalo vykdyklę.

Į turinį

Šaltinis: www.habr.com

Добавить комментарий