GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

Artikulu hau GitLab erabiliz beren produktuak sonatype eta/edo maven biltegi zentraletan azkar argitaratzeko beharra duten java garatzaileentzat da. Artikulu honetan arazo hau konpontzeko gitlab-runner, gitlab-ci eta maven-plugin konfiguratzeari buruz hitz egingo dut.

Aurrebaldintzak:

  • Mvn eta GPG gakoen biltegiratze segurua.
  • CIko zeregin publikoen exekuzio segurua.
  • Artefaktuak (oharra/argazkia) biltegi publikoetara kargatzea.
  • Maven central-en argitaratzeko bertsioak automatikoki egiaztatzea.
  • Hainbat proiektutarako artefaktuak biltegi batera kargatzeko irtenbide orokorra.
  • Erraztasuna eta erabiltzeko erraztasuna.

Edukia

Informazio orokorra

  • Sonatype OSS Repository Hosting Service-n Maven Central-en artefaktuak argitaratzeko mekanismoaren deskribapen zehatza dagoeneko deskribatu da. Artikulu hau erabiltzailea googolplex, beraz, artikulu hau leku egokietan aipatuko dut.
  • Aurrez izena eman Sonatype JIRA eta ireki txartel bat biltegia irekitzeko (irakur ezazu atala xehetasun gehiago lortzeko Sortu txartel bat Sonatype JIRA-n). Biltegia ireki ondoren, JIRAren saio-hasiera/pasahitz bikotea (aurrerantzean Sonatype kontua) erabiliko da Sonatype nexus-era artefaktuak kargatzeko.
  • Ondoren, GPG gako bat sortzeko prozesua oso lehor deskribatzen da. Ikusi atala xehetasun gehiagorako GnuPG artefaktuak sinatzeko konfiguratzen
  • Linux kontsola erabiltzen baduzu GPG gako bat sortzeko (gnupg/gnupg2), orduan instalatu behar duzu RNG-tresnak entropia sortzeko. Bestela, gakoak sortzea oso denbora luzea izan daiteke.
  • Biltegiratze zerbitzuak publiko GPG teklak

Edukira

GitLab-en inplementazio-proiektu bat konfiguratzea

  • Lehenik eta behin, proiektu bat sortu eta konfiguratu behar duzu kanalizazioa artefaktuak hedatzeko gordeko den. Nire proiektuari izena jarri diot sinpleki eta konplexurik gabe - zabaldu
  • Biltegia sortu ondoren, sarbidea mugatu behar duzu biltegia aldatzeko.
    Joan proiektua -> Ezarpenak -> Biltegira -> Adar babestuak. Arau guztiak ezabatzen ditugu eta arau bakarra gehitzen dugu Komodin * batekin, bultzatzeko eta batzeko eskubidearekin, Mantentzaileak rola duten erabiltzaileentzat soilik. Arau honek bai proiektu honetako erabiltzaile guztientzat eta baita proiektu hau dagokion taldearentzat ere.
    GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko
  • Mantentzaile batzuk badaude, irtenbiderik onena proiekturako sarbidea mugatzea izango litzateke printzipioz.
    Joan proiektua -> Ezarpenak -> Orokorra -> Ikusgarritasuna, proiektuaren ezaugarriak, baimenak eta ezarri Proiektuaren ikusgarritasuna Pribatua.
    Jendaurrean sar daitekeen proiektu bat daukat, nire GitLab Runner erabiltzen dudalako eta nik bakarrik daukat sarbidea biltegia aldatzeko. Beno, egia esan, ez dago nire intereseko informazio pribatua kanalizazio-erregistro publikoetan erakustea.
  • Biltegia aldatzeko arauak gogortzea
    Joan proiektua -> Ezarpenak -> Biltegia -> Push Arauak eta ezarri Committer murrizketa, Egiaztatu egilea GitLab erabiltzailea den ala ez. Konfiguratzea ere gomendatzen dut sinadura konpromisoa, eta ezarri Ukatu sinatu gabeko konpromezuen bandera.
  • Ondoren, abiarazle bat konfiguratu behar duzu zereginak abiarazteko
    Joan proiektua -> Ezarpenak -> CI / CD -> Pipeline abiarazleak eta sortu trigger-token berri bat
    Token hau berehala gehi daiteke proiektu talde bateko aldagaien konfigurazio orokorrera.
    Joan taldera -> Ezarpenak -> CI / CD -> Aldagaiak eta gehitu aldagai bat DEPLOY_TOKEN trigger-token balioarekin.

Edukira

GitLab Runner

Atal honek inplementazioan zereginak exekutatzeko konfigurazioa deskribatzen du zure korrikalari propioa (espezifikoa) eta publikoa (partekatua) erabiliz.

Korrikalari espezifikoa

Nire korrikalariak erabiltzen ditut, lehenik eta behin, erosoa, azkarra eta merkea delako.
Korrikalari batentzat, Linux VDS bat gomendatzen dut CPU 1, 2 GB RAM, 20 GB HDD dituena. Jaulkipenaren prezioa ~ 3000 ₽ da urtean.

Nire korrikalaria

Korrikalariarentzat VDS 4 CPU, 4 GB RAM, 50 GB SSD hartu nuen. ~11000₽ kostatu zen eta ez zen inoiz damutu.
Guztira 7 makina ditut. 5 aruba eta 2 ihor.

Beraz, korrikalari bat dugu. Orain konfiguratuko dugu.
SSH bidez makinara joaten gara eta java, git, maven, gnupg2 instalatzen ditugu.

Edukira

Gitlab runner instalatzen

  • Sortu talde berri bat runner
    sudo groupadd runner
  • Sortu direktorio bat maven cacherako eta esleitu talde-baimenak runner
    Puntu hau salta dezakezu makina batean hainbat korrikalari exekutatzeko asmorik ez baduzu.

    mkdir -p /usr/cache/.m2/repository
    chown -R :runner /usr/cache
    chmod -R 770 /usr/cache
  • Sortu erabiltzaile bat gitlab-deployer eta gehitu taldera runner
    useradd -m -d /home/gitlab-deployer gitlab-deployer
    usermod -a -G runner gitlab-deployer
  • Gehitu fitxategira /etc/ssh/sshd_config hurrengo lerroa
    AllowUsers root@* [email protected]
  • Berrabiarazi sshd
    systemctl restart sshd
  • Erabiltzaileari pasahitza ezartzea gitlab-deployer (erraza izan daiteke, lokalhostentzako murrizketa bat dagoenez)
    passwd gitlab-deployer
  • Instalatu GitLab Runner (Linux x86-64)
    sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64
    sudo chmod +x /usr/local/bin/gitlab-runner
    ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner
    ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner
  • Joan gitlab.com webgunera -> deploy-project -> Ezarpenak -> CI/CD -> Korrikalariak -> Lasterkari espezifikoak eta kopiatu erregistro-tokena

Pantaila

GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

  • Korrikalari baten izena ematea
    gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml

Prozesu

Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded                     runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

  • Lasterkaria izena emanda dagoela egiaztatzen dugu. Joan gitlab.com webgunera -> deploy-project -> Ezarpenak -> CI/CD -> Korrikalariak -> Korrikalari espezifikoak -> Proiektu honetarako aktibatuta dauden korrikalariak

Pantaila

GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

  • Gehitu Aparteko zerbitzu /etc/systemd/system/gitlab-deployer.service
    [Unit]
    Description=GitLab Deploy Runner
    After=syslog.target network.target
    ConditionFileIsExecutable=/usr/local/bin/gitlab-runner
    [Service]
    StartLimitInterval=5
    StartLimitBurst=10
    ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer"
    Restart=always
    RestartSec=120
    [Install]
    WantedBy=multi-user.target
  • Hasi gaitezen zerbitzua.
    systemctl enable gitlab-deployer.service
    systemctl start gitlab-deployer.service
    systemctl status gitlab-deployer.service
  • Korrikalaria korrika dabilela egiaztatzen dugu.

Adibidea

GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

Edukira

GPG gakoak sortzea

  • Makina beretik ssh bidez hasten gara erabiltzailearen azpian gitlab-deployer (garrantzitsua da GPG gakoa sortzeko)

    ssh [email protected]

  • Galderak erantzunez gako bat sortzen dugu. Nire izena eta posta elektronikoa erabili ditut.
    Ziurtatu gakoaren pasahitza zehazten duzula. Artifaktuak gako honekin sinatuko dira.

    gpg --gen-key 

  • check

    gpg --list-keys -a
    /home/gitlab-deployer/.gnupg/pubring.gpg
    ----------------------------------------
    pub   4096R/00000000 2019-04-19
    uid                  Petruha Petrov <[email protected]>
    sub   4096R/11111111 2019-04-19

  • Gure gako publikoa gako zerbitzarira igotzen

    gpg --keyserver keys.gnupg.net --send-key 00000000
    gpg: sending key 00000000 to hkp server keys.gnupg.net

Edukira

Maven konfiguratzen

  • Hasi saioa erabiltzaile gisa gitlab-deployer
    su gitlab-deployer 
  • Sortu Maven direktorioa biltegiko eta estekatu cachera (ez egin akatsik)
    Puntu hau salta dezakezu makina batean hainbat korrikalari exekutatzeko asmorik ez baduzu.

    mkdir -p ~/.m2/repository
    ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository
  • Sortu gako nagusi bat
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Sortu ~/.m2/settings-security.xml fitxategi bat
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Sonatype kontuaren pasahitza enkriptatzea
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Sortu fitxategi bat ~/.m2/settings.xml
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>SONATYPE_USERNAME</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

non,
GPG_SECRET_KEY_PASSPHRASE - GPG gakoaren pasahitza
SONATYPE_USERNAME — sonatype kontuaren saioa hasteko

Honek korrikalariaren konfigurazioa osatzen du, atalera joan zaitezke GitLab CI

Edukira

Korrikalari partekatua

GPG gakoak sortzea

  • Lehenik eta behin, GPG gako bat sortu behar duzu. Horretarako, instalatu gnupg.

    yum install -y gnupg

  • Galderak erantzunez gako bat sortzen dugu. Nire izena eta posta elektronikoa erabili ditut. Ziurtatu gakoaren pasahitza zehazten duzula.

    gpg --gen-key 

  • Teklako informazioa bistaratzea

    gpg --list-keys -a
    pub   rsa3072 2019-04-24 [SC] [expires: 2021-04-23]
      2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    uid           [ultimate] tttemp <[email protected]>
    sub   rsa3072 2019-04-24 [E] [expires: none]

  • Gure gako publikoa gako zerbitzarira igotzen

    gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net

  • Gako pribatua lortzen dugu

    gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    -----BEGIN PGP PRIVATE KEY BLOCK-----
    lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5
    ...
    =2Wd2
    -----END PGP PRIVATE KEY BLOCK-----

  • Joan proiektuaren ezarpenetara -> Ezarpenak -> CI / CD -> Aldagaiak eta gorde gako pribatua aldagai batean GPG_SECRET_KEY
    GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

Edukira

Maven konfiguratzen

  • Sortu gako nagusi bat
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Joan proiektuaren ezarpenetara -> Ezarpenak -> CI / CD -> Aldagaiak eta gorde aldagai batean SETTINGS_SECURITY_XML lerro hauek:
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Sonatype kontuaren pasahitza enkriptatzea
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Joan proiektuaren ezarpenetara -> Ezarpenak -> CI / CD -> Aldagaiak eta gorde aldagai batean SETTINGS_XML lerro hauek:
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>sonatype_username</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

non,
GPG_SECRET_KEY_PASSPHRASE - GPG gakoaren pasahitza
SONATYPE_USERNAME — sonatype kontuaren saioa hasteko

Edukira

Inplementatu docker irudia

  • Dockerfile nahiko sinple bat sortzen dugu inplementatzeko zereginak Javaren beharrezko bertsioarekin exekutatzeko. Jarraian, alpinorako adibide bat dago.

    FROM java:8u111-jdk-alpine
    RUN apk add gnupg maven git --update-cache 
    --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && 
    mkdir ~/.m2/

  • Zure proiekturako edukiontzi bat muntatzea

    docker build -t registry.gitlab.com/group/deploy .

  • Edukiontzia autentifikatzen dugu eta erregistroan kargatzen dugu.

    docker login -u USER -p PASSWORD registry.gitlab.com
    docker push registry.gitlab.com/group/deploy

Edukira

GitLab CI

Proiektua zabaldu

Gehitu .gitlab-ci.yml fitxategia hedapen proiektuaren erroan
Gidoiak elkarren artean esklusiboak diren bi inplementazio-zeregin aurkezten ditu. Korrikalari espezifikoa edo Korrikalari partekatua hurrenez hurren.

.gitlab-ci.yml

stages:
  - deploy

Specific Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на вашем shell-раннере
  tags:
    - deploy

Shared Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на публичном docker-раннере
  tags:
    - docker
  # Образ из раздела GitLab Runner -> Shared Runner -> Docker
  image: registry.gitlab.com/group/deploy-project:latest
  before_script:
    # Импортируем GPG ключ
    - printf "${GPG_SECRET_KEY}" | gpg --batch --import
    # Сохраняем maven конфигурацию
    - printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
    - printf "${SETTINGS_XML}" > ~/.m2/settings.xml

.java_deploy_template:
  stage: deploy
  # Задача сработает по триггеру, если передана переменная DEPLOY со значением java
  only:
    variables:
    - $DEPLOY == "java"
  variables:
    # отключаем клонирование текущего проекта
    GIT_STRATEGY: none
  script:
    # Предоставляем возможность хранения пароля в незашифрованном виде
    - git config --global credential.helper store
    # Сохраняем временные креды пользователя gitlab-ci-token
    # Токен работает для всех публичных проектов gitlab.com и для проектов группы
    - echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
    # Полностью чистим текущую директорию
    - rm -rf .* *
    # Клонируем проект который, будем деплоить в Sonatype Nexus
    - git clone ${DEPLOY_CI_REPOSITORY_URL} .
    # Переключаемся на нужный коммит
    - git checkout ${DEPLOY_CI_COMMIT_SHA} -f
    # Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
    # В противном случае есть риск залить сырые артефакты в maven central
    - >
      for pom in $(find . -name pom.xml); do
        if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
          echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
          exit 1;
        fi;
      done
    # Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
    - >
      if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
        mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
      else
        VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
        if [[ "${VERSION}" == *-SNAPSHOT ]]; then
          mvn versions:set -DnewVersion=${VERSION}
        else
          mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
        fi
      fi
    # Запускаем задачу на сборку и деплой артефактов
    - mvn clean deploy -DskipTests=true

Edukira

Java proiektua

Biltegi publikoetara igo behar diren java proiektuetan, 2 urrats gehitu behar dituzu Release eta Snapshot bertsioak deskargatzeko.

.gitlab-ci.yml

stages:
  - build
  - test
  - verify
  - deploy

<...>

Release:
  extends: .trigger_deploy
  # Запускать задачу только пo тегу.
  only:
    - tags

Snapshot:
  extends: .trigger_deploy
  # Запускаем задачу на публикацию SNAPSHOT версии вручную
  when: manual
  # Не запускать задачу, если проставлен тег.
  except:
    - tags

.trigger_deploy:
  stage: deploy
  variables:
    # Отключаем клонирование текущего проекта
    GIT_STRATEGY: none
    # Ссылка на триггер deploy-задачи
    URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
    # Переменные deploy-задачи
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
    # Не использую cURL, так как с флагами --fail --show-error
    # он не выводит тело ответа, если HTTP код 400 и более 
    - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

Irtenbide honetan, pixka bat harago joan nintzen eta java proiektuetarako CI txantiloi bat erabiltzea erabaki nuen.

Xehetasun gehiago

Proiektu bereizi bat sortu nuen gitlab-ci bertan, java proiektuetarako CI txantiloia jarri nuen arrunta.yml.

arrunta.yml

stages:
  - build
  - test
  - verify
  - deploy

variables:
  SONAR_ARGS: "
  -Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA} 
  -Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME} 
  "

.build_java_project:
  stage: build
  tags:
    - touchbit-shell
  variables:
    SKIP_TEST: "false"
  script:
    - mvn clean
    - mvn package -DskipTests=${SKIP_TEST}
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.build_sphinx_doc:
  stage: build
  tags:
    - touchbit-shell
  variables:
    DOCKERFILE: .indirect/docs/Dockerfile
  script:
    - docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .

.junit_module_test_run:
  stage: test
  tags:
    - touchbit-shell
  variables:
    MODULE: ""
  script:
    - cd ${MODULE}
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.junit_test_run:
  stage: test
  tags:
    - touchbit-shell
  script:
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
    - "*/target/reports"

.sonar_review:
  stage: verify
  tags:
    - touchbit-shell
  dependencies: []
  script:
    - >
      if [ "$CI_BUILD_REF_NAME" == "master" ]; then
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
      else
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
      fi

.trigger_deploy:
  stage: deploy
  tags:
    - touchbit-shell
  variables:
    URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
  - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

.trigger_release_deploy:
  extends: .trigger_deploy
  only:
    - tags

.trigger_snapshot_deploy:
  extends: .trigger_deploy
  when: manual
  except:
    - tags

Ondorioz, java proiektuetan bertan, .gitlab-ci.yml oso trinkoa dirudi eta ez da zehatza

.gitlab-ci.yml

include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml

Shields4J:
  extends: .build_java_project

Sphinx doc:
  extends: .build_sphinx_doc
  variables:
    DOCKERFILE: .docs/Dockerfile

Sonar review:
  extends: .sonar_review
  dependencies:
    - Shields4J

Release:
  extends: .trigger_release_deploy

Snapshot:
  extends: .trigger_snapshot_deploy

Edukira

Pom.xml konfigurazioa

Gai hau xehetasun handiz deskribatzen da. googolplex в Maven konfigurazioa automatikoki sinatzeko eta artefaktuak snapshot eta eszenatze biltegietara kargatzeko, beraz, pluginak erabiltzearen ñabardura batzuk deskribatuko ditut. Era berean, zein erraz eta lasai erabil dezakezun deskribatuko dut nexus-staging-maven-pluginez baduzu nahi edo ezin baduzu erabili org.sonatype.oss:oss-parent zure proiekturako guraso gisa.

maven-install-plugin

Moduluak biltegi lokalean instalatzen ditu.
Oso erabilgarria beste proiektu batzuetako soluzioen tokian tokiko egiaztatzeko, baita checksum bat egiteko ere.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-install-plugin</artifactId>
  <executions>
    <execution>
      <id>install-project</id>
      <!-- Если у вас многомодульный проект с деплоем родительского помика -->
      <phase>install</phase>
      <!-- Явно указываем файлы для локальной установки -->
      <configuration>
        <file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
        <pomFile>dependency-reduced-pom.xml</pomFile>
        <!-- Принудительное обновление метаданных проекта -->
        <updateReleaseInfo>true</updateReleaseInfo>
        <!-- Контрольные суммы для проверки целостности -->
        <createChecksum>true</createChecksum>
      </configuration>
    </execution>
  </executions>
</plugin>

Edukira

maven-javadoc-plugin

Proiekturako javadoc sortzea.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-javadoc-plugin</artifactId>
  <executions>
    <execution>
      <goals>
        <goal>jar</goal>
      </goals>
      <!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
      <phase>prepare-package</phase>
      <configuration>
        <!-- Очень помогает в публичных проектах -->
        <failOnError>true</failOnError>
        <failOnWarnings>true</failOnWarnings>
        <!-- Убирает ошибку поиска документации в target директории -->
        <detectOfflineLinks>false</detectOfflineLinks>
      </configuration>
    </execution>
  </executions>
</plugin>

Java-rik ez duen modulu bat baduzu (adibidez baliabideak soilik)
Edo printzipioz ez duzu javadoc sortu nahi, orduan lagundu maven-jar-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-jar-plugin</artifactId>
  <executions>
    <execution>
      <id>empty-javadoc-jar</id>
      <phase>generate-resources</phase>
      <goals>
        <goal>jar</goal>
      </goals>
      <configuration>
        <classifier>javadoc</classifier>
        <classesDirectory>${basedir}/javadoc</classesDirectory>
      </configuration>
    </execution>
  </executions>
</plugin>

Edukira

maven-gpg-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-gpg-plugin</artifactId>
  <executions>
    <execution>
      <id>sign-artifacts</id>
      <!-- Сборка будет падать, если отсутствует GPG ключ -->
      <!-- Подписываем артефакты только на фазе deploy -->
      <phase>deploy</phase>
      <goals>
        <goal>sign</goal>
      </goals>
    </execution>
  </executions>
</plugin>

Edukira

nexus-staging-maven-plugin

Konfigurazioa:

<project>
  <!-- ... -->
  <build>
    <plugins>
      <!-- ... -->
      <plugin>
        <groupId>org.sonatype.plugins</groupId>
        <artifactId>nexus-staging-maven-plugin</artifactId>
      </plugin>
    </plugins>
    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.sonatype.plugins</groupId>
          <artifactId>nexus-staging-maven-plugin</artifactId>
          <extensions>true</extensions>
          <configuration>
            <serverId>sonatype</serverId>
            <nexusUrl>https://oss.sonatype.org/</nexusUrl>
            <!-- Обновляем метаданные, чтобы пометить артефакт как release -->
            <!-- Не влияет на snapshot версии -->
            <updateReleaseInfo>true</updateReleaseInfo>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-deploy-plugin</artifactId>
          <configuration>
            <!-- Отключаем плагин -->
            <skip>true</skip>
          </configuration>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
  <distributionManagement>
    <snapshotRepository>
      <id>sonatype</id>
      <name>Nexus Snapshot Repository</name>
      <url>https://oss.sonatype.org/content/repositories/snapshots/</url>
    </snapshotRepository>
    <repository>
      <id>sonatype</id>
      <name>Nexus Release Repository</name>
      <url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
    </repository>
  </distributionManagement>
</project>

Modulu anitzeko proiektu bat baduzu eta ez baduzu modulu zehatz bat biltegira igo behar, orduan gehitu behar duzu nexus-staging-maven-plugin banderarekin skipNexusStagingDeployMojo

<build>
  <plugins>
    <plugin>
      <groupId>org.sonatype.plugins</groupId>
      <artifactId>nexus-staging-maven-plugin</artifactId>
      <configuration>
        <skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
      </configuration>
    </plugin>
  </plugins>
</build>

Deskargatu ondoren, argazki/argitalpen bertsioak eskuragarri daude eszenaratzea biltegiak

<repositories>
  <repository>
    <id>SonatypeNexus</id>
    <url>https://oss.sonatype.org/content/groups/staging/</url>
    <!-- Не надо указывать флаги snapshot/release для репозитория -->
  </repository>
</repositories>

Plus gehiago

  • Nexus biltegiarekin lan egiteko helburuen zerrenda oso aberatsa (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
  • Maven central-era kargatzeko askapen automatikoa egiaztatzea

Edukira

Emaitza

SNAPSHOT bertsioa argitaratzen

Proiektu bat eraikitzean, eskuz abiarazi daiteke zeregin bat SNAPSHOT bertsioa nexus-era deskargatzeko

GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

Zeregin hau abiarazten denean, inplementazio-proiektuan dagokion zeregina abiarazten da (Adibidez).

Erregistro moztua

Running with gitlab-runner 11.10.0 (3001a600)
  on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
  git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0                                           [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO] 
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO]     Updating project org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:client
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:test-core
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:testng
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:client
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT                                  [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO]  * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [  2.375 s]
[INFO] test-core .......................................... SUCCESS [  3.929 s]
[INFO] Shields4J client ................................... SUCCESS [  3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------

Ondorioz, bertsioa nexus-en kargatzen da 1.0.0-ARGAZKIA.

Snapshot bertsio guztiak webguneko biltegitik ezaba daitezke oss.sonatype.org zure kontuaren azpian.

GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

Edukira

Argitaratze bertsio bat argitaratzea

Etiketa bat instalatzen denean, inplementazio-proiektuan dagokion zeregina automatikoki abiarazten da kaleratze-bertsioa nexus-era deskargatzeko (Adibidez).

GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

Zatirik onena da hurbileko askapena automatikoki abiarazten dela nexus-en.

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1037".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  9.603 s]
[INFO] test-core .......................................... SUCCESS [  3.419 s]
[INFO] Shields4J client ................................... SUCCESS [  9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------

Eta zerbait gaizki ateratzen bada, zereginak behin betiko huts egingo du

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1038".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR] 
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR] 
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR]   Rule "signature-staging" failures
[ERROR]     * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on &lt;a href=http://keys.gnupg.net:11371/&gt;http://keys.gnupg.net:11371/&lt;/a&gt;. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  4.073 s]
[INFO] test-core .......................................... SUCCESS [  2.788 s]
[INFO] Shields4J client ................................... SUCCESS [  3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------

Ondorioz, aukera bakarra geratzen zaigu. Ezabatu bertsio hau edo argitaratu.

GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

Askatu ondoren, denboraren buruan artefaktuak sartuko dira GitLab CI konfiguratzea maven central-era java proiektu bat kargatzeko

offtopic

Niretzat aurkikuntza bat izan zen maven-ek beste biltegi publiko batzuk indexatzen dituela.
Robots.txt gehitu behar izan nuen nire biltegi zaharra indexatzen zuelako.

Edukira

Ondorioa

daukaguna

  • Inplementazio-proiektu bereizi bat, non hainbat CI zeregin inplementatu ditzakezun artefaktuak biltegi publikoetara kargatzeko hainbat garapen hizkuntzatarako.
  • Inplementatu proiektua kanpoko interferentziatik isolatuta dago eta Jabea eta Mantentzailea rolak dituzten erabiltzaileek soilik alda dezakete.
  • Lasterkari espezifiko bereizi bat, cache "beroa" duena, zereginak soilik inplementatzeko.
  • Argazki/argitalpen bertsioak biltegi publiko batean argitaratzea.
  • Maven central-en argitaratzeko prest dagoen bertsioaren egiaztapen automatikoa.
  • Maven central-en bertsio "gordinak" automatikoki argitaratzeko babesa.
  • Eraiki eta argitaratu argazkien bertsioak "klik eginez".
  • Snapshot/argitalpen bertsioak lortzeko biltegi bakarra.
  • Java proiektu bat eraikitzeko/probak/argitaratzeko kanalizazio orokorra.

GitLab CI konfiguratzea ez da lehen begiratuan dirudien bezain gai korapilatsua. Nahikoa da CI giltza eskuan konfiguratzea pare bat aldiz, eta orain afizionatutik urrun zaude gai honetan. Gainera, GitLab-en dokumentazioa oso erredundantea da. Ez izan beldurrik lehen urratsa emateko. Errepidea dabilenaren eskaileraren azpian agertzen da (ez dut gogoratzen nork esan zuen :)

Pozik jasoko dut iritzia.

Hurrengo artikuluan GitLab CI konfigurazioari buruz hitz egingo dut integrazio-probekin zereginak lehiakortasunean exekutatzeko (proban dauden zerbitzuak docker-compose erabiliz exekutatu) shell runner bakarra baduzu.

Edukira

Iturria: www.habr.com

Gehitu iruzkin berria