GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

Tämä artikkeli on tarkoitettu java-kehittäjille, joiden on nopeasti julkaistava tuotteensa sonatype- ja/tai maven-keskivarastoissa GitLabin avulla. Tässä artikkelissa puhun gitlab-runnerin, gitlab-ci:n ja maven-pluginin määrittämisestä tämän ongelman ratkaisemiseksi.

Edellytykset:

  • Mvn- ja GPG-avaimien turvallinen tallennus.
  • Julkisten CI-tehtävien turvallinen suorittaminen.
  • Lähetetään artefakteja (julkaisu / tilannekuva) julkisiin arkistoihin.
  • Julkaisuversioiden automaattinen tarkistus julkaisua varten Maven Centralissa.
  • Yleinen ratkaisu artefaktien lataamiseen arkistoon useille projekteille.
  • Yksinkertaisuus ja helppokäyttöisyys.

Pitoisuus

Perustiedot

  • Yksityiskohtainen kuvaus mekanismista, jolla artefakteja julkaistaan ​​Maven Centralissa Sonatype OSS Repository Hosting -palvelun kautta, on jo kuvattu tämä artikkeli käyttäjä Googolplex, joten viittaan tähän artikkeliin oikeissa paikoissa.
  • Ilmoittaudu ennakkoon Sonatyyppi JIRA ja avaa lippu arkiston avaamiseksi (lue lisätietoja osiosta Luo lippu Sonatype JIRA:ssa). Arkiston avaamisen jälkeen JIRAn kirjautumistunnus/salasana-paria (jäljempänä Sonatype-tili) käytetään artefaktien lataamiseen Sonatype nexukseen.
  • Seuraavaksi GPG-avaimen luomisprosessi kuvataan hyvin kuivana. Katso lisätietoja osiosta GnuPG:n määrittäminen allekirjoittamaan artefakteja
  • Jos käytät Linux-konsolia GPG-avaimen luomiseen (gnupg/gnupg2), sinun on asennettava RNG-tools entropian luomiseksi. Muuten avainten luominen voi kestää hyvin kauan.
  • Varastointipalvelut julkinen GPG avaimet

Sisältöön

Käyttöönottoprojektin määrittäminen GitLabissa

  • Ensinnäkin sinun on luotava ja määritettävä projekti, johon putki tallennetaan artefaktien käyttöönottoa varten. Nimesin projektini yksinkertaisesti ja mutkattomasti - sijoittaa
  • Kun olet luonut arkiston, sinun on rajoitettava pääsyä arkiston muuttamiseksi.
    Mene projektiin -> Asetukset -> Arkisto -> Suojatut oksat. Poistamme kaikki säännöt ja lisäämme yhden säännön jokerimerkillä *, jolla on oikeus työntää ja yhdistää vain käyttäjille, joilla on ylläpitäjän rooli. Tämä sääntö toimii sekä tämän projektin että ryhmän, johon tämä projekti kuuluu, käyttäjille.
    GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin
  • Jos ylläpitäjiä on useita, paras ratkaisu olisi rajoittaa periaatteessa pääsyä hankkeeseen.
    Siirry kohtaan projekti -> Asetukset -> Yleiset -> Näkyvyys, projektin ominaisuudet, käyttöoikeudet ja aseta Projektin näkyvyys -asetukseksi yksityinen.
    Minulla on julkisesti saatavilla oleva projekti, koska käytän omaa GitLab Runner -ohjelmaani ja vain minulla on pääsy arkiston vaihtamiseen. Itse asiassa ei ole etujeni mukaista näyttää yksityisiä tietoja julkisissa putkilokeissa.
  • Arkiston muuttamisen sääntöjä tiukennetaan
    Mene projektiin -> Asetukset -> Arkisto -> Push Rules ja aseta Committer-rajoitus, Tarkista, onko tekijä GitLab-käyttäjäliput. Suosittelen myös perustamista sitoa allekirjoitus, ja aseta Hylkää allekirjoittamattomat sitoumukset -lippu.
  • Seuraavaksi sinun on määritettävä laukaisin tehtävien käynnistämiseksi
    Siirry kohtaan projekti -> Asetukset -> CI / CD -> Pipeline-laukaisimet ja luo uusi trigger-tunnus
    Tämä tunnus voidaan lisätä välittömästi projektiryhmän muuttujien yleiseen kokoonpanoon.
    Siirry kohtaan ryhmä -> Asetukset -> CI / CD -> Muuttujat ja lisää muuttuja DEPLOY_TOKEN trigger-tokenin arvolla.

Sisältöön

GitLab Runner

Tässä osiossa kuvataan määritykset suoritettavien tehtävien käyttöönotossa käyttämällä omaa (erityistä) ja julkista (jaettua) juoksijaa.

Erityinen juoksija

Käytän omia juoksuja, koska ennen kaikkea se on kätevä, nopea ja halpa.
Juoksijalle suosittelen Linux VDS:ää, jossa on 1 CPU, 2 Gt RAM-muistia, 20 Gt HDD. Emissiohinta on ~3000₽ vuodessa.

Minun juoksijani

Juoksijalle otin VDS 4 CPU:n, 4 Gt RAM-muistia, 50 Gt SSD:n. Maksoi ~11000 XNUMX₽, enkä ole koskaan katunut.
Minulla on yhteensä 7 konetta. 5 aruballa ja 2 ihorilla.

Meillä on siis juoksija. Nyt määritämme sen.
Menemme koneelle SSH:n kautta ja asennamme java, git, maven, gnupg2.

Sisältöön

Gitlab runnerin asennus

  • Luo uusi ryhmä runner
    sudo groupadd runner
  • Luo hakemisto Maven-välimuistille ja määritä ryhmäkäyttöoikeudet runner
    Voit ohittaa tämän kohdan, jos et aio ajaa useita juoksijoita yhdellä koneella.

    mkdir -p /usr/cache/.m2/repository
    chown -R :runner /usr/cache
    chmod -R 770 /usr/cache
  • Luo käyttäjä gitlab-deployer ja lisää ryhmään runner
    useradd -m -d /home/gitlab-deployer gitlab-deployer
    usermod -a -G runner gitlab-deployer
  • Lisää tiedostoon /etc/ssh/sshd_config seuraava rivi
    AllowUsers root@* [email protected]
  • Käynnistä uudelleen sshd
    systemctl restart sshd
  • Salasanan asettaminen käyttäjälle gitlab-deployer (voi olla yksinkertaista, koska localhostille on rajoitus)
    passwd gitlab-deployer
  • Asenna GitLab Runner (Linux x86-64)
    sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64
    sudo chmod +x /usr/local/bin/gitlab-runner
    ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner
    ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner
  • Mene osoitteeseen gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners ja kopioi rekisteröintitunnus

Näyttö

GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

  • Juoksijan rekisteröinti
    gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml

prosessi

Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded                     runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

  • Tarkistamme, että juoksija on rekisteröitynyt. Mene osoitteeseen gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners Activated for this project.

Näyttö

GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

  • Lisätä erillinen palvelu /etc/systemd/system/gitlab-deployer.service
    [Unit]
    Description=GitLab Deploy Runner
    After=syslog.target network.target
    ConditionFileIsExecutable=/usr/local/bin/gitlab-runner
    [Service]
    StartLimitInterval=5
    StartLimitBurst=10
    ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer"
    Restart=always
    RestartSec=120
    [Install]
    WantedBy=multi-user.target
  • Aloitetaan palvelu.
    systemctl enable gitlab-deployer.service
    systemctl start gitlab-deployer.service
    systemctl status gitlab-deployer.service
  • Tarkistamme, että juoksija on käynnissä.

Esimerkki

GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

Sisältöön

Luo GPG-avaimia

  • Samasta koneesta kirjaudumme sisään ssh:n kautta käyttäjän alle gitlab-deployer (tämä on tärkeää GPG-avaimen luomisen kannalta)

    ssh [email protected]

  • Luomme avaimen vastaamalla kysymyksiin. Käytin omaa nimeäni ja sähköpostiosoitetta.
    Muista määrittää avaimelle salasana. Artefaktit allekirjoitetaan tällä avaimella.

    gpg --gen-key 

  • tarkista

    gpg --list-keys -a
    /home/gitlab-deployer/.gnupg/pubring.gpg
    ----------------------------------------
    pub   4096R/00000000 2019-04-19
    uid                  Petruha Petrov <[email protected]>
    sub   4096R/11111111 2019-04-19

  • Julkisen avaimemme lataaminen avainpalvelimelle

    gpg --keyserver keys.gnupg.net --send-key 00000000
    gpg: sending key 00000000 to hkp server keys.gnupg.net

Sisältöön

Mavenin asetukset

  • Kirjaudu sisään käyttäjänä gitlab-deployer
    su gitlab-deployer 
  • Luo maven-hakemisto säilytyspaikka ja linkki välimuistiin (älä erehdy)
    Voit ohittaa tämän kohdan, jos et aio ajaa useita juoksijoita yhdellä koneella.

    mkdir -p ~/.m2/repository
    ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository
  • Luo pääavain
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Luo tiedosto ~/.m2/settings-security.xml
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Sonatype-tilin salasanan salaus
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Luo tiedosto ~/.m2/settings.xml
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>SONATYPE_USERNAME</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

missä,
GPG_SECRET_KEY_PASSPHRASE - salasana GPG-avaimelle
SONATYPE_USERNAME — sonatype-tilin kirjautuminen

Tämä suorittaa juoksun asennuksen, voit siirtyä osioon GitLab CI

Sisältöön

Jaettu juoksija

Luo GPG-avaimia

  • Ensinnäkin sinun on luotava GPG-avain. Voit tehdä tämän asentamalla gnupg.

    yum install -y gnupg

  • Luomme avaimen vastaamalla kysymyksiin. Käytin omaa nimeäni ja sähköpostiosoitetta. Muista määrittää avaimelle salasana.

    gpg --gen-key 

  • Näytetään tiedot avaimesta

    gpg --list-keys -a
    pub   rsa3072 2019-04-24 [SC] [expires: 2021-04-23]
      2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    uid           [ultimate] tttemp <[email protected]>
    sub   rsa3072 2019-04-24 [E] [expires: none]

  • Julkisen avaimemme lataaminen avainpalvelimelle

    gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net

  • Saamme yksityisen avaimen

    gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    -----BEGIN PGP PRIVATE KEY BLOCK-----
    lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5
    ...
    =2Wd2
    -----END PGP PRIVATE KEY BLOCK-----

  • Mene projektiasetukset -> Asetukset -> CI / CD -> Muuttujat ja tallenna yksityinen avain muuttujaan GPG_SECRET_KEY
    GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

Sisältöön

Mavenin asetukset

  • Luo pääavain
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Mene projektiasetukset -> Asetukset -> CI / CD -> Muuttujat ja tallenna muuttujaksi SETTINGS_SECURITY_XML seuraavat rivit:
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Sonatype-tilin salasanan salaus
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Mene projektiasetukset -> Asetukset -> CI / CD -> Muuttujat ja tallenna muuttujaksi SETTINGS_XML seuraavat rivit:
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>sonatype_username</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

missä,
GPG_SECRET_KEY_PASSPHRASE - salasana GPG-avaimelle
SONATYPE_USERNAME — sonatype-tilin kirjautuminen

Sisältöön

Ota Docker-kuva käyttöön

  • Luomme melko yksinkertaisen Docker-tiedoston, joka suorittaa käyttöönottotehtäviä vaaditulla Java-versiolla. Alla on esimerkki alppeista.

    FROM java:8u111-jdk-alpine
    RUN apk add gnupg maven git --update-cache 
    --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && 
    mkdir ~/.m2/

  • Kontin kokoaminen projektillesi

    docker build -t registry.gitlab.com/group/deploy .

  • Todennamme ja lataamme kontin rekisteriin.

    docker login -u USER -p PASSWORD registry.gitlab.com
    docker push registry.gitlab.com/group/deploy

Sisältöön

GitLab CI

Ota projekti käyttöön

Lisää .gitlab-ci.yml-tiedosto käyttöönottoprojektin juureen
Käsikirjoitus esittää kaksi toisensa poissulkevaa käyttöönottotehtävää. Tietty juoksija tai jaettu juoksija.

.gitlab-ci.yml

stages:
  - deploy

Specific Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на вашем shell-раннере
  tags:
    - deploy

Shared Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на публичном docker-раннере
  tags:
    - docker
  # Образ из раздела GitLab Runner -> Shared Runner -> Docker
  image: registry.gitlab.com/group/deploy-project:latest
  before_script:
    # Импортируем GPG ключ
    - printf "${GPG_SECRET_KEY}" | gpg --batch --import
    # Сохраняем maven конфигурацию
    - printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
    - printf "${SETTINGS_XML}" > ~/.m2/settings.xml

.java_deploy_template:
  stage: deploy
  # Задача сработает по триггеру, если передана переменная DEPLOY со значением java
  only:
    variables:
    - $DEPLOY == "java"
  variables:
    # отключаем клонирование текущего проекта
    GIT_STRATEGY: none
  script:
    # Предоставляем возможность хранения пароля в незашифрованном виде
    - git config --global credential.helper store
    # Сохраняем временные креды пользователя gitlab-ci-token
    # Токен работает для всех публичных проектов gitlab.com и для проектов группы
    - echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
    # Полностью чистим текущую директорию
    - rm -rf .* *
    # Клонируем проект который, будем деплоить в Sonatype Nexus
    - git clone ${DEPLOY_CI_REPOSITORY_URL} .
    # Переключаемся на нужный коммит
    - git checkout ${DEPLOY_CI_COMMIT_SHA} -f
    # Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
    # В противном случае есть риск залить сырые артефакты в maven central
    - >
      for pom in $(find . -name pom.xml); do
        if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
          echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
          exit 1;
        fi;
      done
    # Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
    - >
      if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
        mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
      else
        VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
        if [[ "${VERSION}" == *-SNAPSHOT ]]; then
          mvn versions:set -DnewVersion=${VERSION}
        else
          mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
        fi
      fi
    # Запускаем задачу на сборку и деплой артефактов
    - mvn clean deploy -DskipTests=true

Sisältöön

Java projekti

Java-projekteissa, jotka on tarkoitus ladata julkisiin tietovarastoihin, sinun on lisättävä kaksi vaihetta julkaisu- ja tilannekuva-versioiden lataamiseksi.

.gitlab-ci.yml

stages:
  - build
  - test
  - verify
  - deploy

<...>

Release:
  extends: .trigger_deploy
  # Запускать задачу только пo тегу.
  only:
    - tags

Snapshot:
  extends: .trigger_deploy
  # Запускаем задачу на публикацию SNAPSHOT версии вручную
  when: manual
  # Не запускать задачу, если проставлен тег.
  except:
    - tags

.trigger_deploy:
  stage: deploy
  variables:
    # Отключаем клонирование текущего проекта
    GIT_STRATEGY: none
    # Ссылка на триггер deploy-задачи
    URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
    # Переменные deploy-задачи
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
    # Не использую cURL, так как с флагами --fail --show-error
    # он не выводит тело ответа, если HTTP код 400 и более 
    - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

Tässä ratkaisussa menin hieman pidemmälle ja päätin käyttää yhtä CI-mallia Java-projekteihin.

Lisätietoja

Tein erillisen projektin gitlab-ci johon laitoin CI-mallin Java-projekteja varten yleinen.yml.

yleinen.yml

stages:
  - build
  - test
  - verify
  - deploy

variables:
  SONAR_ARGS: "
  -Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA} 
  -Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME} 
  "

.build_java_project:
  stage: build
  tags:
    - touchbit-shell
  variables:
    SKIP_TEST: "false"
  script:
    - mvn clean
    - mvn package -DskipTests=${SKIP_TEST}
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.build_sphinx_doc:
  stage: build
  tags:
    - touchbit-shell
  variables:
    DOCKERFILE: .indirect/docs/Dockerfile
  script:
    - docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .

.junit_module_test_run:
  stage: test
  tags:
    - touchbit-shell
  variables:
    MODULE: ""
  script:
    - cd ${MODULE}
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.junit_test_run:
  stage: test
  tags:
    - touchbit-shell
  script:
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
    - "*/target/reports"

.sonar_review:
  stage: verify
  tags:
    - touchbit-shell
  dependencies: []
  script:
    - >
      if [ "$CI_BUILD_REF_NAME" == "master" ]; then
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
      else
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
      fi

.trigger_deploy:
  stage: deploy
  tags:
    - touchbit-shell
  variables:
    URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
  - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

.trigger_release_deploy:
  extends: .trigger_deploy
  only:
    - tags

.trigger_snapshot_deploy:
  extends: .trigger_deploy
  when: manual
  except:
    - tags

Tämän seurauksena itse Java-projekteissa .gitlab-ci.yml näyttää erittäin kompaktilta eikä monisanaiselta

.gitlab-ci.yml

include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml

Shields4J:
  extends: .build_java_project

Sphinx doc:
  extends: .build_sphinx_doc
  variables:
    DOCKERFILE: .docs/Dockerfile

Sonar review:
  extends: .sonar_review
  dependencies:
    - Shields4J

Release:
  extends: .trigger_release_deploy

Snapshot:
  extends: .trigger_snapshot_deploy

Sisältöön

Pom.xml-kokoonpano

Tämä aihe on kuvattu erittäin yksityiskohtaisesti. Googolplex в Mavenin asettaminen allekirjoittamaan ja lähettämään artefakteja automaattisesti tilannekuva- ja esitystietovarastoihin, joten kuvailen joitain lisäosien käytön vivahteita. Kuvaan myös kuinka helppoa ja rentoa voit käyttää nexus-staging-maven-pluginjos et halua tai voi käyttää org.sonatype.oss:oss-parent-tiedostoa projektin yläpäänä.

maven-install-plugin

Asentaa moduulit paikalliseen arkistoon.
Erittäin hyödyllinen ratkaisujen paikalliseen todentamiseen muissa projekteissa sekä tarkistussummassa.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-install-plugin</artifactId>
  <executions>
    <execution>
      <id>install-project</id>
      <!-- Если у вас многомодульный проект с деплоем родительского помика -->
      <phase>install</phase>
      <!-- Явно указываем файлы для локальной установки -->
      <configuration>
        <file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
        <pomFile>dependency-reduced-pom.xml</pomFile>
        <!-- Принудительное обновление метаданных проекта -->
        <updateReleaseInfo>true</updateReleaseInfo>
        <!-- Контрольные суммы для проверки целостности -->
        <createChecksum>true</createChecksum>
      </configuration>
    </execution>
  </executions>
</plugin>

Sisältöön

maven-javadoc-plugin

Luodaan javadocia projektia varten.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-javadoc-plugin</artifactId>
  <executions>
    <execution>
      <goals>
        <goal>jar</goal>
      </goals>
      <!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
      <phase>prepare-package</phase>
      <configuration>
        <!-- Очень помогает в публичных проектах -->
        <failOnError>true</failOnError>
        <failOnWarnings>true</failOnWarnings>
        <!-- Убирает ошибку поиска документации в target директории -->
        <detectOfflineLinks>false</detectOfflineLinks>
      </configuration>
    </execution>
  </executions>
</plugin>

Jos sinulla on moduuli, joka ei sisällä javaa (esimerkiksi vain resursseja)
Tai et periaatteessa halua luoda javadocia, niin auta maven-jar-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-jar-plugin</artifactId>
  <executions>
    <execution>
      <id>empty-javadoc-jar</id>
      <phase>generate-resources</phase>
      <goals>
        <goal>jar</goal>
      </goals>
      <configuration>
        <classifier>javadoc</classifier>
        <classesDirectory>${basedir}/javadoc</classesDirectory>
      </configuration>
    </execution>
  </executions>
</plugin>

Sisältöön

maven-gpg-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-gpg-plugin</artifactId>
  <executions>
    <execution>
      <id>sign-artifacts</id>
      <!-- Сборка будет падать, если отсутствует GPG ключ -->
      <!-- Подписываем артефакты только на фазе deploy -->
      <phase>deploy</phase>
      <goals>
        <goal>sign</goal>
      </goals>
    </execution>
  </executions>
</plugin>

Sisältöön

nexus-staging-maven-plugin

Kokoonpano:

<project>
  <!-- ... -->
  <build>
    <plugins>
      <!-- ... -->
      <plugin>
        <groupId>org.sonatype.plugins</groupId>
        <artifactId>nexus-staging-maven-plugin</artifactId>
      </plugin>
    </plugins>
    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.sonatype.plugins</groupId>
          <artifactId>nexus-staging-maven-plugin</artifactId>
          <extensions>true</extensions>
          <configuration>
            <serverId>sonatype</serverId>
            <nexusUrl>https://oss.sonatype.org/</nexusUrl>
            <!-- Обновляем метаданные, чтобы пометить артефакт как release -->
            <!-- Не влияет на snapshot версии -->
            <updateReleaseInfo>true</updateReleaseInfo>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-deploy-plugin</artifactId>
          <configuration>
            <!-- Отключаем плагин -->
            <skip>true</skip>
          </configuration>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
  <distributionManagement>
    <snapshotRepository>
      <id>sonatype</id>
      <name>Nexus Snapshot Repository</name>
      <url>https://oss.sonatype.org/content/repositories/snapshots/</url>
    </snapshotRepository>
    <repository>
      <id>sonatype</id>
      <name>Nexus Release Repository</name>
      <url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
    </repository>
  </distributionManagement>
</project>

Jos sinulla on monimoduuliprojekti, etkä tarvitse ladata tiettyä moduulia arkistoon, sinun on lisättävä nexus-staging-maven-plugin lipun kanssa skipNexusStagingDeployMojo

<build>
  <plugins>
    <plugin>
      <groupId>org.sonatype.plugins</groupId>
      <artifactId>nexus-staging-maven-plugin</artifactId>
      <configuration>
        <skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
      </configuration>
    </plugin>
  </plugins>
</build>

Latauksen jälkeen tilannekuva-/julkaisuversiot ovat saatavilla esitysvarastot

<repositories>
  <repository>
    <id>SonatypeNexus</id>
    <url>https://oss.sonatype.org/content/groups/staging/</url>
    <!-- Не надо указывать флаги snapshot/release для репозитория -->
  </repository>
</repositories>

Lisää plussia

  • Erittäin rikas luettelo tavoitteista työskennelläksesi nexus-arkiston kanssa (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
  • Automaattinen julkaisun tarkistus ladattaessa Maven Centraliin

Sisältöön

Tulos

SNAPSHOT-versio julkaistaan

Projektia rakennettaessa on mahdollista käynnistää manuaalisesti tehtävä SNAPSHOT-version lataamiseksi nexukseen

GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

Kun tämä tehtävä käynnistetään, vastaava asennusprojektin tehtävä käynnistyy (esimerkki).

Leikattu tukki

Running with gitlab-runner 11.10.0 (3001a600)
  on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
  git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0                                           [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO] 
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO]     Updating project org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:client
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:test-core
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:testng
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:client
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT                                  [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO]  * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [  2.375 s]
[INFO] test-core .......................................... SUCCESS [  3.929 s]
[INFO] Shields4J client ................................... SUCCESS [  3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------

Tämän seurauksena versio ladataan nexukseen 1.0.0-SNAPSSHOT.

Kaikki tilannekuvaversiot voidaan poistaa verkkosivuston arkistosta oss.sonatype.org tilisi alla.

GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

Sisältöön

Julkaisuversion julkaiseminen

Kun tunniste on asennettu, vastaava käyttöönottoprojektin tehtävä käynnistyy automaattisesti lataamaan julkaisuversio nexukseen (esimerkki).

GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

Parasta on, että sulkeminen laukeaa automaattisesti nexuksessa.

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1037".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  9.603 s]
[INFO] test-core .......................................... SUCCESS [  3.419 s]
[INFO] Shields4J client ................................... SUCCESS [  9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------

Ja jos jokin menee pieleen, tehtävä epäonnistuu varmasti

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1038".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR] 
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR] 
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR]   Rule "signature-staging" failures
[ERROR]     * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on &lt;a href=http://keys.gnupg.net:11371/&gt;http://keys.gnupg.net:11371/&lt;/a&gt;. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  4.073 s]
[INFO] test-core .......................................... SUCCESS [  2.788 s]
[INFO] Shields4J client ................................... SUCCESS [  3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------

Tämän seurauksena meillä on vain yksi vaihtoehto. Poista tämä versio tai julkaise se.

GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

Julkaisun jälkeen artefaktit ovat mukana jonkin ajan kuluttua GitLab CI:n asettaminen lataamaan java-projekti Maven Centraliin

offtopic

Minulle oli löytö, että maven indeksoi muut julkiset tietovarastot.
Minun piti lisätä robots.txt, koska se indeksoi vanhan arkistoni.

Sisältöön

Johtopäätös

Mitä meillä on

  • Erillinen käyttöönottoprojekti, jossa voit toteuttaa useita CI-tehtäviä artefaktien lataamiseksi julkisiin arkistoihin eri kehityskielille.
  • Käyttöönottoprojekti on eristetty ulkopuolisista häiriöistä, ja vain käyttäjät, joilla on omistaja- ja ylläpitäjärooli, voivat muuttaa sitä.
  • Erillinen erityinen juoksija, jossa on "kuuma" välimuisti vain käyttöönottotehtävien suorittamiseen.
  • Julkaistaan ​​tilannevedos-/julkaisuversiot julkisessa arkistossa.
  • Automaattinen julkaisuversion julkaisuvalmiuden tarkistus Maven Centralissa.
  • Suojaus "raaka" -versioiden automaattista julkaisemista vastaan ​​Maven Centralissa.
  • Luo ja julkaise tilannekuvaversiot "napsauttamalla".
  • Yksi arkisto tilannevedos-/julkaisuversioiden hankkimista varten.
  • Yleinen putki Java-projektin rakentamiseen/testaukseen/julkaisemiseen.

GitLab CI:n käyttöönotto ei ole niin monimutkainen aihe kuin miltä ensi silmäyksellä näyttää. Riittää, kun asetat CI:n avaimet käteen -periaatteella pari kertaa, ja nyt et ole kaukana amatööristä tässä asiassa. Lisäksi GitLab-dokumentaatio on erittäin tarpeeton. Älä pelkää ottaa ensimmäistä askelta. Tie näkyy kävelevän portaiden alta (en muista kuka sen sanoi :)

Otan mielelläni palautetta vastaan.

Seuraavassa artikkelissa puhun siitä, kuinka GitLab CI määritetään suorittamaan tehtäviä integraatiotesteillä kilpailukykyisesti (testattavien palveluiden suorittaminen docker-composella), jos sinulla on vain yksi shell runner.

Sisältöön

Lähde: will.com

Lisää kommentti