Nastavitev GitLab CI za nalaganje java projekta v maven central

Ta članek je namenjen razvijalcem java, ki morajo svoje izdelke hitro objaviti v osrednjih repozitorijih sonatype in/ali maven z uporabo GitLaba. V tem članku bom govoril o nastavitvi gitlab-runner, gitlab-ci in maven-plugin za rešitev te težave.

Predpogoji:

  • Varno shranjevanje ključev mvn in GPG.
  • Varno izvajanje javnih nalog CI.
  • Nalaganje artefaktov (izdaja/posnetek) v javne repozitorije.
  • Samodejno preverjanje različic izdaje za objavo v maven centrali.
  • Splošna rešitev za nalaganje artefaktov v repozitorij za več projektov.
  • Preprostost in enostavna uporaba.

Vsebina

Splošne informacije

  • Podroben opis mehanizma za objavljanje artefaktov v Maven Central prek Sonatype OSS Repository Hosting Service je bil že opisan v Ta članek uporabnik Googolplex, zato se bom skliceval na ta članek na pravih mestih.
  • Predprijavite se za Sonatip JIRA in odprite vozovnico, da odprete repozitorij (za več podrobnosti preberite razdelek Ustvari vstopnico na Sonatype JIRA). Po odprtju repozitorija bo par prijava/geslo iz JIRA (v nadaljnjem besedilu račun Sonatype) uporabljen za nalaganje artefaktov v Sonatype nexus.
  • V nadaljevanju je zelo suhoparno opisan postopek generiranja ključa GPG. Za več podrobnosti glejte razdelek Konfiguriranje GnuPG za podpisovanje artefaktov
  • Če za ustvarjanje ključa GPG (gnupg/gnupg2) uporabljate konzolo Linux, potem morate namestiti rng-tools za ustvarjanje entropije. V nasprotnem primeru lahko generiranje ključa traja zelo dolgo.
  • Skladiščne storitve javnosti GPG ključi

Na vsebino

Nastavitev projekta uvajanja v GitLab

  • Najprej morate ustvariti in konfigurirati projekt, v katerem bo shranjen cevovod za uvajanje artefaktov. Svoj projekt sem poimenoval preprosto in nezapleteno - razporedi
  • Ko ustvarite repozitorij, morate omejiti dostop, da spremenite repozitorij.
    Pojdite na projekt -> Nastavitve -> Repozitorij -> Zaščitene veje. Izbrišemo vsa pravila in dodamo eno pravilo z nadomestnim znakom * s pravico do potiskanja in združevanja samo za uporabnike z vlogo vzdrževalcev. To pravilo bo delovalo za vse uporabnike tega projekta in skupine, ki ji ta projekt pripada.
    Nastavitev GitLab CI za nalaganje java projekta v maven central
  • Če je vzdrževalcev več, bi bila najboljša rešitev načelna omejitev dostopa do projekta.
    Pojdite na projekt -> Nastavitve -> Splošno -> Vidnost, funkcije projekta, dovoljenja in nastavite Vidnost projekta na Zasebno.
    Imam javno dostopen projekt, saj uporabljam svoj GitLab Runner in samo jaz imam dostop do spreminjanja repozitorija. No, pravzaprav ni v mojem interesu prikazovanje zasebnih informacij v javnih dnevnikih plinovoda.
  • Zaostritev pravil za spreminjanje repozitorija
    Pojdite na projekt -> Nastavitve -> Repozitorij -> Push Rules in nastavite omejitev Committer, Preverite, ali je avtor uporabniška zastavica GitLab. Priporočam tudi postavitev potrdi podpisin nastavite zastavico Zavrni nepodpisane objave.
  • Nato morate konfigurirati sprožilec za zagon opravil
    Pojdite na projekt -> Nastavitve -> CI / CD -> Sprožilci cevovoda in ustvarite nov sprožilni žeton
    Ta žeton je mogoče takoj dodati k splošni konfiguraciji spremenljivk za skupino projektov.
    Pojdite v skupino -> Nastavitve -> CI / CD -> Spremenljivke in dodajte spremenljivko DEPLOY_TOKEN z vrednostjo sprožilnega žetona.

Na vsebino

GitLab Runner

V tem razdelku je opisana konfiguracija za izvajanje nalog pri uvajanju z uporabo lastnega (posebnega) in javnega (v skupni rabi) izvajalca.

Poseben tekač

Uporabljam lastne tekače, ker so predvsem priročni, hitri in poceni.
Za tekače priporočam Linux VDS z 1 CPU, 2 GB RAM-a, 20 GB HDD. Cena izdaje je ~3000₽ na leto.

Moj tekač

Za runner sem vzel CPU VDS 4, 4 GB RAM, 50 GB SSD. Cena ~11000 ₽ in nikoli mi ni bilo žal.
Skupaj imam 7 strojev. 5 na arubi in 2 na ihorju.

Torej imamo tekača. Zdaj ga bomo konfigurirali.
Gremo na stroj preko SSH in namestimo java, git, maven, gnupg2.

Na vsebino

Namestitev gitlab runnerja

  • Ustvarite novo skupino runner
    sudo groupadd runner
  • Ustvarite imenik za predpomnilnik maven in dodelite dovoljenja skupini runner
    To točko lahko preskočite, če ne nameravate izvajati več tekačev na enem stroju.

    mkdir -p /usr/cache/.m2/repository
    chown -R :runner /usr/cache
    chmod -R 770 /usr/cache
  • Ustvarite uporabnika gitlab-deployer in dodajte v skupino runner
    useradd -m -d /home/gitlab-deployer gitlab-deployer
    usermod -a -G runner gitlab-deployer
  • Dodaj v datoteko /etc/ssh/sshd_config naslednja vrstica
    AllowUsers root@* [email protected]
  • Znova zaženite sshd
    systemctl restart sshd
  • Nastavitev gesla za uporabnika gitlab-deployer (lahko preprosto, saj obstaja omejitev za localhost)
    passwd gitlab-deployer
  • Namestite GitLab Runner (Linux x86-64)
    sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64
    sudo chmod +x /usr/local/bin/gitlab-runner
    ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner
    ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner
  • Pojdite na spletno stran gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners in kopirajte registracijski žeton

zaslon

Nastavitev GitLab CI za nalaganje java projekta v maven central

  • Registracija tekača
    gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml

Postopek

Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded                     runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

  • Preverimo, ali je tekač prijavljen. Pojdite na spletno stran gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners aktivirani za ta projekt

zaslon

Nastavitev GitLab CI za nalaganje java projekta v maven central

  • Dodaj ločeno storitev /etc/systemd/system/gitlab-deployer.service
    [Unit]
    Description=GitLab Deploy Runner
    After=syslog.target network.target
    ConditionFileIsExecutable=/usr/local/bin/gitlab-runner
    [Service]
    StartLimitInterval=5
    StartLimitBurst=10
    ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer"
    Restart=always
    RestartSec=120
    [Install]
    WantedBy=multi-user.target
  • Začnimo s storitvijo.
    systemctl enable gitlab-deployer.service
    systemctl start gitlab-deployer.service
    systemctl status gitlab-deployer.service
  • Preverimo, ali tekač teče.

Primer

Nastavitev GitLab CI za nalaganje java projekta v maven central

Na vsebino

Ustvarjanje ključev GPG

  • Z istega stroja se prijavimo preko ssh pod uporabnikom gitlab-deployer (to je pomembno za generiranje ključa GPG)

    ssh [email protected]

  • Z odgovarjanjem na vprašanja ustvarimo ključ. Uporabil sem svoje ime in e-pošto.
    Ne pozabite določiti gesla za ključ. Artefakti bodo podpisani s tem ključem.

    gpg --gen-key 

  • Preverite

    gpg --list-keys -a
    /home/gitlab-deployer/.gnupg/pubring.gpg
    ----------------------------------------
    pub   4096R/00000000 2019-04-19
    uid                  Petruha Petrov <[email protected]>
    sub   4096R/11111111 2019-04-19

  • Nalaganje našega javnega ključa na strežnik ključev

    gpg --keyserver keys.gnupg.net --send-key 00000000
    gpg: sending key 00000000 to hkp server keys.gnupg.net

Na vsebino

Nastavitev Maven

  • Prijavite se kot uporabnik gitlab-deployer
    su gitlab-deployer 
  • Ustvarite imenik maven Skladišče in povezava do predpomnilnika (da ne bo pomote)
    To točko lahko preskočite, če ne nameravate izvajati več tekačev na enem računalniku.

    mkdir -p ~/.m2/repository
    ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository
  • Ustvarite glavni ključ
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Ustvarite datoteko ~/.m2/settings-security.xml
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Šifriranje gesla za račun Sonatype
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Ustvarite datoteko ~/.m2/settings.xml
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>SONATYPE_USERNAME</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

kje,
GPG_SECRET_KEY_PASSPHRASE - geslo za ključ GPG
SONATYPE_USERNAME — prijava v račun sonatype

S tem je nastavitev tekača končana, lahko nadaljujete z razdelkom GitLab CI

Na vsebino

Skupni tekač

Ustvarjanje ključev GPG

  • Najprej morate ustvariti ključ GPG. Če želite to narediti, namestite gnupg.

    yum install -y gnupg

  • Z odgovarjanjem na vprašanja ustvarimo ključ. Uporabil sem svoje ime in e-pošto. Ne pozabite določiti gesla za ključ.

    gpg --gen-key 

  • Prikaz informacij na ključu

    gpg --list-keys -a
    pub   rsa3072 2019-04-24 [SC] [expires: 2021-04-23]
      2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    uid           [ultimate] tttemp <[email protected]>
    sub   rsa3072 2019-04-24 [E] [expires: none]

  • Nalaganje našega javnega ključa na strežnik ključev

    gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net

  • Dobimo zasebni ključ

    gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    -----BEGIN PGP PRIVATE KEY BLOCK-----
    lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5
    ...
    =2Wd2
    -----END PGP PRIVATE KEY BLOCK-----

  • Pojdite na nastavitve projekta -> Nastavitve -> CI / CD -> Spremenljivke in shranite zasebni ključ v spremenljivko GPG_SECRET_KEY
    Nastavitev GitLab CI za nalaganje java projekta v maven central

Na vsebino

Nastavitev Maven

  • Ustvarite glavni ključ
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Pojdite v nastavitve projekta -> Nastavitve -> CI / CD -> Spremenljivke in shranite v spremenljivko SETTINGS_SECURITY_XML naslednje vrstice:
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Šifriranje gesla za račun Sonatype
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Pojdite v nastavitve projekta -> Nastavitve -> CI / CD -> Spremenljivke in shranite v spremenljivko SETTINGS_XML naslednje vrstice:
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>sonatype_username</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

kje,
GPG_SECRET_KEY_PASSPHRASE - geslo za ključ GPG
SONATYPE_USERNAME — prijava v račun sonatype

Na vsebino

Razmesti sliko dockerja

  • Ustvarimo dokaj preprosto datoteko Dockerfile za izvajanje nalog uvajanja z zahtevano različico Jave. Spodaj je primer za alpsko.

    FROM java:8u111-jdk-alpine
    RUN apk add gnupg maven git --update-cache 
    --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && 
    mkdir ~/.m2/

  • Sestavljanje zabojnika za vaš projekt

    docker build -t registry.gitlab.com/group/deploy .

  • Vsebnik preverimo in naložimo v register.

    docker login -u USER -p PASSWORD registry.gitlab.com
    docker push registry.gitlab.com/group/deploy

Na vsebino

GitLab CI

Razmesti projekt

Dodajte datoteko .gitlab-ci.yml v koren projekta razmestitve
Skript predstavlja dve medsebojno izključujoči nalogi uvajanja. Poseben tekač ali skupni tekač.

.gitlab-ci.yml

stages:
  - deploy

Specific Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на вашем shell-раннере
  tags:
    - deploy

Shared Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на публичном docker-раннере
  tags:
    - docker
  # Образ из раздела GitLab Runner -> Shared Runner -> Docker
  image: registry.gitlab.com/group/deploy-project:latest
  before_script:
    # Импортируем GPG ключ
    - printf "${GPG_SECRET_KEY}" | gpg --batch --import
    # Сохраняем maven конфигурацию
    - printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
    - printf "${SETTINGS_XML}" > ~/.m2/settings.xml

.java_deploy_template:
  stage: deploy
  # Задача сработает по триггеру, если передана переменная DEPLOY со значением java
  only:
    variables:
    - $DEPLOY == "java"
  variables:
    # отключаем клонирование текущего проекта
    GIT_STRATEGY: none
  script:
    # Предоставляем возможность хранения пароля в незашифрованном виде
    - git config --global credential.helper store
    # Сохраняем временные креды пользователя gitlab-ci-token
    # Токен работает для всех публичных проектов gitlab.com и для проектов группы
    - echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
    # Полностью чистим текущую директорию
    - rm -rf .* *
    # Клонируем проект который, будем деплоить в Sonatype Nexus
    - git clone ${DEPLOY_CI_REPOSITORY_URL} .
    # Переключаемся на нужный коммит
    - git checkout ${DEPLOY_CI_COMMIT_SHA} -f
    # Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
    # В противном случае есть риск залить сырые артефакты в maven central
    - >
      for pom in $(find . -name pom.xml); do
        if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
          echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
          exit 1;
        fi;
      done
    # Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
    - >
      if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
        mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
      else
        VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
        if [[ "${VERSION}" == *-SNAPSHOT ]]; then
          mvn versions:set -DnewVersion=${VERSION}
        else
          mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
        fi
      fi
    # Запускаем задачу на сборку и деплой артефактов
    - mvn clean deploy -DskipTests=true

Na vsebino

Java projekt

V java projektih, ki naj bi bili naloženi v javne repozitorije, morate dodati 2 koraka za prenos različic Release in Snapshot.

.gitlab-ci.yml

stages:
  - build
  - test
  - verify
  - deploy

<...>

Release:
  extends: .trigger_deploy
  # Запускать задачу только пo тегу.
  only:
    - tags

Snapshot:
  extends: .trigger_deploy
  # Запускаем задачу на публикацию SNAPSHOT версии вручную
  when: manual
  # Не запускать задачу, если проставлен тег.
  except:
    - tags

.trigger_deploy:
  stage: deploy
  variables:
    # Отключаем клонирование текущего проекта
    GIT_STRATEGY: none
    # Ссылка на триггер deploy-задачи
    URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
    # Переменные deploy-задачи
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
    # Не использую cURL, так как с флагами --fail --show-error
    # он не выводит тело ответа, если HTTP код 400 и более 
    - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

Pri tej rešitvi sem šel nekoliko dlje in se odločil uporabiti eno predlogo CI za javanske projekte.

Več podrobnosti

Ustvaril sem ločen projekt gitlab-ci v katerega sem postavil CI predlogo za java projekte common.yml.

common.yml

stages:
  - build
  - test
  - verify
  - deploy

variables:
  SONAR_ARGS: "
  -Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA} 
  -Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME} 
  "

.build_java_project:
  stage: build
  tags:
    - touchbit-shell
  variables:
    SKIP_TEST: "false"
  script:
    - mvn clean
    - mvn package -DskipTests=${SKIP_TEST}
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.build_sphinx_doc:
  stage: build
  tags:
    - touchbit-shell
  variables:
    DOCKERFILE: .indirect/docs/Dockerfile
  script:
    - docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .

.junit_module_test_run:
  stage: test
  tags:
    - touchbit-shell
  variables:
    MODULE: ""
  script:
    - cd ${MODULE}
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.junit_test_run:
  stage: test
  tags:
    - touchbit-shell
  script:
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
    - "*/target/reports"

.sonar_review:
  stage: verify
  tags:
    - touchbit-shell
  dependencies: []
  script:
    - >
      if [ "$CI_BUILD_REF_NAME" == "master" ]; then
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
      else
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
      fi

.trigger_deploy:
  stage: deploy
  tags:
    - touchbit-shell
  variables:
    URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
  - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

.trigger_release_deploy:
  extends: .trigger_deploy
  only:
    - tags

.trigger_snapshot_deploy:
  extends: .trigger_deploy
  when: manual
  except:
    - tags

Posledično je v samih java projektih .gitlab-ci.yml videti zelo kompaktno in ne besedno

.gitlab-ci.yml

include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml

Shields4J:
  extends: .build_java_project

Sphinx doc:
  extends: .build_sphinx_doc
  variables:
    DOCKERFILE: .docs/Dockerfile

Sonar review:
  extends: .sonar_review
  dependencies:
    - Shields4J

Release:
  extends: .trigger_release_deploy

Snapshot:
  extends: .trigger_snapshot_deploy

Na vsebino

Konfiguracija Pom.xml

Ta tema je zelo podrobno opisana. Googolplex в Nastavitev maven za samodejno podpisovanje in nalaganje artefaktov v repozitorije posnetkov in uprizoritev, zato bom opisal nekatere nianse uporabe vtičnikov. Opisal bom tudi, kako enostavno in sproščeno lahko uporabljate nexus-staging-maven-pluginče ne želite ali ne morete uporabiti org.sonatype.oss:oss-parent kot nadrejenega za svoj projekt.

maven-install-plugin

Namesti module v lokalni repozitorij.
Zelo uporabno za lokalno preverjanje rešitev v drugih projektih, pa tudi za kontrolno vsoto.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-install-plugin</artifactId>
  <executions>
    <execution>
      <id>install-project</id>
      <!-- Если у вас многомодульный проект с деплоем родительского помика -->
      <phase>install</phase>
      <!-- Явно указываем файлы для локальной установки -->
      <configuration>
        <file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
        <pomFile>dependency-reduced-pom.xml</pomFile>
        <!-- Принудительное обновление метаданных проекта -->
        <updateReleaseInfo>true</updateReleaseInfo>
        <!-- Контрольные суммы для проверки целостности -->
        <createChecksum>true</createChecksum>
      </configuration>
    </execution>
  </executions>
</plugin>

Na vsebino

maven-javadoc-plugin

Ustvarjanje javadoc za projekt.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-javadoc-plugin</artifactId>
  <executions>
    <execution>
      <goals>
        <goal>jar</goal>
      </goals>
      <!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
      <phase>prepare-package</phase>
      <configuration>
        <!-- Очень помогает в публичных проектах -->
        <failOnError>true</failOnError>
        <failOnWarnings>true</failOnWarnings>
        <!-- Убирает ошибку поиска документации в target директории -->
        <detectOfflineLinks>false</detectOfflineLinks>
      </configuration>
    </execution>
  </executions>
</plugin>

Če imate modul, ki ne vsebuje Jave (na primer samo virov)
Ali pa načeloma ne želite ustvariti javadoc, potem pomagajte maven-jar-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-jar-plugin</artifactId>
  <executions>
    <execution>
      <id>empty-javadoc-jar</id>
      <phase>generate-resources</phase>
      <goals>
        <goal>jar</goal>
      </goals>
      <configuration>
        <classifier>javadoc</classifier>
        <classesDirectory>${basedir}/javadoc</classesDirectory>
      </configuration>
    </execution>
  </executions>
</plugin>

Na vsebino

maven-gpg-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-gpg-plugin</artifactId>
  <executions>
    <execution>
      <id>sign-artifacts</id>
      <!-- Сборка будет падать, если отсутствует GPG ключ -->
      <!-- Подписываем артефакты только на фазе deploy -->
      <phase>deploy</phase>
      <goals>
        <goal>sign</goal>
      </goals>
    </execution>
  </executions>
</plugin>

Na vsebino

nexus-staging-maven-plugin

konfiguracija:

<project>
  <!-- ... -->
  <build>
    <plugins>
      <!-- ... -->
      <plugin>
        <groupId>org.sonatype.plugins</groupId>
        <artifactId>nexus-staging-maven-plugin</artifactId>
      </plugin>
    </plugins>
    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.sonatype.plugins</groupId>
          <artifactId>nexus-staging-maven-plugin</artifactId>
          <extensions>true</extensions>
          <configuration>
            <serverId>sonatype</serverId>
            <nexusUrl>https://oss.sonatype.org/</nexusUrl>
            <!-- Обновляем метаданные, чтобы пометить артефакт как release -->
            <!-- Не влияет на snapshot версии -->
            <updateReleaseInfo>true</updateReleaseInfo>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-deploy-plugin</artifactId>
          <configuration>
            <!-- Отключаем плагин -->
            <skip>true</skip>
          </configuration>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
  <distributionManagement>
    <snapshotRepository>
      <id>sonatype</id>
      <name>Nexus Snapshot Repository</name>
      <url>https://oss.sonatype.org/content/repositories/snapshots/</url>
    </snapshotRepository>
    <repository>
      <id>sonatype</id>
      <name>Nexus Release Repository</name>
      <url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
    </repository>
  </distributionManagement>
</project>

Če imate projekt z več moduli in vam ni treba naložiti določenega modula v repozitorij, potem morate dodati nexus-staging-maven-plugin z zastavo skipNexusStagingDeployMojo

<build>
  <plugins>
    <plugin>
      <groupId>org.sonatype.plugins</groupId>
      <artifactId>nexus-staging-maven-plugin</artifactId>
      <configuration>
        <skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
      </configuration>
    </plugin>
  </plugins>
</build>

Po prenosu so različice posnetkov/izdaj na voljo v uprizoritveni repozitoriji

<repositories>
  <repository>
    <id>SonatypeNexus</id>
    <url>https://oss.sonatype.org/content/groups/staging/</url>
    <!-- Не надо указывать флаги snapshot/release для репозитория -->
  </repository>
</repositories>

Več plusov

  • Zelo bogat seznam ciljev za delo z repozitorijem nexus (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
  • Samodejno preverjanje izdaje za nalaganje v maven central

Na vsebino

Rezultat

Objava različice SNAPSHOT

Pri gradnji projekta je mogoče ročno zagnati nalogo za prenos različice SNAPSHOT v nexus

Nastavitev GitLab CI za nalaganje java projekta v maven central

Ko se ta naloga zažene, se sproži ustrezna naloga v projektu razmestitve (Primer).

Obrezan hlod

Running with gitlab-runner 11.10.0 (3001a600)
  on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
  git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0                                           [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO] 
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO]     Updating project org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:client
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:test-core
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:testng
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:client
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT                                  [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO]  * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [  2.375 s]
[INFO] test-core .......................................... SUCCESS [  3.929 s]
[INFO] Shields4J client ................................... SUCCESS [  3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------

Posledično se različica naloži v nexus 1.0.0-SNAPSHOT.

Vse različice posnetkov lahko izbrišete iz repozitorija na spletnem mestu oss.sonatype.org pod vašim računom.

Nastavitev GitLab CI za nalaganje java projekta v maven central

Na vsebino

Objava izdajne različice

Ko je oznaka nameščena, se ustrezna naloga v projektu uvajanja samodejno sproži za prenos izdane različice v nexus (Primer).

Nastavitev GitLab CI za nalaganje java projekta v maven central

Najboljši del je, da se sprostitev blizu samodejno sproži v nexusu.

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1037".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  9.603 s]
[INFO] test-core .......................................... SUCCESS [  3.419 s]
[INFO] Shields4J client ................................... SUCCESS [  9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------

In če gre kaj narobe, naloga zagotovo ne bo uspela

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1038".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR] 
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR] 
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR]   Rule "signature-staging" failures
[ERROR]     * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on &lt;a href=http://keys.gnupg.net:11371/&gt;http://keys.gnupg.net:11371/&lt;/a&gt;. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  4.073 s]
[INFO] test-core .......................................... SUCCESS [  2.788 s]
[INFO] Shields4J client ................................... SUCCESS [  3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------

Posledično nam ostane le ena izbira. Izbrišite to različico ali jo objavite.

Nastavitev GitLab CI za nalaganje java projekta v maven central

Po sprostitvi bodo čez nekaj časa artefakti notri Nastavitev GitLab CI za nalaganje java projekta v maven central

offtopic

Zame je bilo odkritje, da maven indeksira druga javna skladišča.
Dodati sem moral robots.txt, ker je indeksiral moje staro skladišče.

Na vsebino

Zaključek

Kar imamo

  • Ločen projekt razmestitve, v katerem lahko implementirate več nalog CI za nalaganje artefaktov v javne repozitorije za različne razvojne jezike.
  • Projekt Deploy je izoliran od zunanjih motenj in ga lahko spremenijo samo uporabniki z vlogama lastnika in vzdrževalca.
  • Ločen Specific Runner z "vročim" predpomnilnikom za zagon samo nalog uvajanja.
  • Objavljanje različic posnetkov/izdaj v javnem repozitoriju.
  • Samodejno preverjanje različice izdaje za pripravljenost za objavo v maven centrali.
  • Zaščita pred samodejno objavo »surovih« različic v maven central.
  • Zgradite in objavite različice posnetkov »na klik«.
  • En sam repozitorij za pridobivanje različic posnetkov/izdaj.
  • Splošni cevovod za gradnjo/testiranje/objavo projekta Java.

Nastavitev GitLab CI ni tako zapletena tema, kot se zdi na prvi pogled. Dovolj je, da nekajkrat nastavite CI na ključ in zdaj v tej zadevi še zdaleč niste amater. Poleg tega je dokumentacija GitLab zelo odveč. Ne bojte se narediti prvega koraka. Cesta se pojavi pod koraki osebe, ki hodi (ne spomnim se, kdo je to rekel :)

Vesel bom povratnih informacij.

V naslednjem članku bom govoril o tem, kako konfigurirati GitLab CI za konkurenčno izvajanje nalog z integracijskimi testi (izvajanje testiranih storitev z uporabo docker-compose), če imate samo en lupinski izvajalec.

Na vsebino

Vir: www.habr.com

Dodaj komentar