ProHoster > Blog > Uprava > Nastavitev GitLab CI za nalaganje java projekta v maven central
Nastavitev GitLab CI za nalaganje java projekta v maven central
Ta članek je namenjen razvijalcem java, ki morajo svoje izdelke hitro objaviti v osrednjih repozitorijih sonatype in/ali maven z uporabo GitLaba. V tem članku bom govoril o nastavitvi gitlab-runner, gitlab-ci in maven-plugin za rešitev te težave.
Predpogoji:
Varno shranjevanje ključev mvn in GPG.
Varno izvajanje javnih nalog CI.
Nalaganje artefaktov (izdaja/posnetek) v javne repozitorije.
Samodejno preverjanje različic izdaje za objavo v maven centrali.
Splošna rešitev za nalaganje artefaktov v repozitorij za več projektov.
Podroben opis mehanizma za objavljanje artefaktov v Maven Central prek Sonatype OSS Repository Hosting Service je bil že opisan v Ta članek uporabnik Googolplex, zato se bom skliceval na ta članek na pravih mestih.
Predprijavite se za Sonatip JIRA in odprite vozovnico, da odprete repozitorij (za več podrobnosti preberite razdelek Ustvari vstopnico na Sonatype JIRA). Po odprtju repozitorija bo par prijava/geslo iz JIRA (v nadaljnjem besedilu račun Sonatype) uporabljen za nalaganje artefaktov v Sonatype nexus.
Če za ustvarjanje ključa GPG (gnupg/gnupg2) uporabljate konzolo Linux, potem morate namestiti rng-tools za ustvarjanje entropije. V nasprotnem primeru lahko generiranje ključa traja zelo dolgo.
Najprej morate ustvariti in konfigurirati projekt, v katerem bo shranjen cevovod za uvajanje artefaktov. Svoj projekt sem poimenoval preprosto in nezapleteno - razporedi
Ko ustvarite repozitorij, morate omejiti dostop, da spremenite repozitorij.
Pojdite na projekt -> Nastavitve -> Repozitorij -> Zaščitene veje. Izbrišemo vsa pravila in dodamo eno pravilo z nadomestnim znakom * s pravico do potiskanja in združevanja samo za uporabnike z vlogo vzdrževalcev. To pravilo bo delovalo za vse uporabnike tega projekta in skupine, ki ji ta projekt pripada.
Če je vzdrževalcev več, bi bila najboljša rešitev načelna omejitev dostopa do projekta.
Pojdite na projekt -> Nastavitve -> Splošno -> Vidnost, funkcije projekta, dovoljenja in nastavite Vidnost projekta na Zasebno.
Imam javno dostopen projekt, saj uporabljam svoj GitLab Runner in samo jaz imam dostop do spreminjanja repozitorija. No, pravzaprav ni v mojem interesu prikazovanje zasebnih informacij v javnih dnevnikih plinovoda.
Zaostritev pravil za spreminjanje repozitorija
Pojdite na projekt -> Nastavitve -> Repozitorij -> Push Rules in nastavite omejitev Committer, Preverite, ali je avtor uporabniška zastavica GitLab. Priporočam tudi postavitev potrdi podpisin nastavite zastavico Zavrni nepodpisane objave.
Nato morate konfigurirati sprožilec za zagon opravil
Pojdite na projekt -> Nastavitve -> CI / CD -> Sprožilci cevovoda in ustvarite nov sprožilni žeton
Ta žeton je mogoče takoj dodati k splošni konfiguraciji spremenljivk za skupino projektov.
Pojdite v skupino -> Nastavitve -> CI / CD -> Spremenljivke in dodajte spremenljivko DEPLOY_TOKEN z vrednostjo sprožilnega žetona.
V tem razdelku je opisana konfiguracija za izvajanje nalog pri uvajanju z uporabo lastnega (posebnega) in javnega (v skupni rabi) izvajalca.
Poseben tekač
Uporabljam lastne tekače, ker so predvsem priročni, hitri in poceni.
Za tekače priporočam Linux VDS z 1 CPU, 2 GB RAM-a, 20 GB HDD. Cena izdaje je ~3000₽ na leto.
Moj tekač
Za runner sem vzel CPU VDS 4, 4 GB RAM, 50 GB SSD. Cena ~11000 ₽ in nikoli mi ni bilo žal.
Skupaj imam 7 strojev. 5 na arubi in 2 na ihorju.
Torej imamo tekača. Zdaj ga bomo konfigurirali.
Gremo na stroj preko SSH in namestimo java, git, maven, gnupg2.
Ustvarite imenik za predpomnilnik maven in dodelite dovoljenja skupini runner
To točko lahko preskočite, če ne nameravate izvajati več tekačev na enem stroju.
Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
Preverimo, ali je tekač prijavljen. Pojdite na spletno stran gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners aktivirani za ta projekt
Z odgovarjanjem na vprašanja ustvarimo ključ. Uporabil sem svoje ime in e-pošto.
Ne pozabite določiti gesla za ključ. Artefakti bodo podpisani s tem ključem.
gpg --gen-key
Preverite
gpg --list-keys -a
/home/gitlab-deployer/.gnupg/pubring.gpg
----------------------------------------
pub 4096R/00000000 2019-04-19
uid Petruha Petrov <[email protected]>
sub 4096R/11111111 2019-04-19
Nalaganje našega javnega ključa na strežnik ključev
gpg --keyserver keys.gnupg.net --send-key 00000000
gpg: sending key 00000000 to hkp server keys.gnupg.net
Ustvarite imenik maven Skladišče in povezava do predpomnilnika (da ne bo pomote)
To točko lahko preskočite, če ne nameravate izvajati več tekačev na enem računalniku.
Dodajte datoteko .gitlab-ci.yml v koren projekta razmestitve
Skript predstavlja dve medsebojno izključujoči nalogi uvajanja. Poseben tekač ali skupni tekač.
.gitlab-ci.yml
stages:
- deploy
Specific Runner:
extends: .java_deploy_template
# Задача будет выполняться на вашем shell-раннере
tags:
- deploy
Shared Runner:
extends: .java_deploy_template
# Задача будет выполняться на публичном docker-раннере
tags:
- docker
# Образ из раздела GitLab Runner -> Shared Runner -> Docker
image: registry.gitlab.com/group/deploy-project:latest
before_script:
# Импортируем GPG ключ
- printf "${GPG_SECRET_KEY}" | gpg --batch --import
# Сохраняем maven конфигурацию
- printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
- printf "${SETTINGS_XML}" > ~/.m2/settings.xml
.java_deploy_template:
stage: deploy
# Задача сработает по триггеру, если передана переменная DEPLOY со значением java
only:
variables:
- $DEPLOY == "java"
variables:
# отключаем клонирование текущего проекта
GIT_STRATEGY: none
script:
# Предоставляем возможность хранения пароля в незашифрованном виде
- git config --global credential.helper store
# Сохраняем временные креды пользователя gitlab-ci-token
# Токен работает для всех публичных проектов gitlab.com и для проектов группы
- echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
# Полностью чистим текущую директорию
- rm -rf .* *
# Клонируем проект который, будем деплоить в Sonatype Nexus
- git clone ${DEPLOY_CI_REPOSITORY_URL} .
# Переключаемся на нужный коммит
- git checkout ${DEPLOY_CI_COMMIT_SHA} -f
# Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
# В противном случае есть риск залить сырые артефакты в maven central
- >
for pom in $(find . -name pom.xml); do
if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
exit 1;
fi;
done
# Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
- >
if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
else
VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
if [[ "${VERSION}" == *-SNAPSHOT ]]; then
mvn versions:set -DnewVersion=${VERSION}
else
mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
fi
fi
# Запускаем задачу на сборку и деплой артефактов
- mvn clean deploy -DskipTests=true
Če imate projekt z več moduli in vam ni treba naložiti določenega modula v repozitorij, potem morate dodati nexus-staging-maven-plugin z zastavo skipNexusStagingDeployMojo
<repositories>
<repository>
<id>SonatypeNexus</id>
<url>https://oss.sonatype.org/content/groups/staging/</url>
<!-- Не надо указывать флаги snapshot/release для репозитория -->
</repository>
</repositories>
Več plusov
Zelo bogat seznam ciljev za delo z repozitorijem nexus (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
Samodejno preverjanje izdaje za nalaganje v maven central
Ko je oznaka nameščena, se ustrezna naloga v projektu uvajanja samodejno sproži za prenos izdane različice v nexus (Primer).
Najboljši del je, da se sprostitev blizu samodejno sproži v nexusu.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1037".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 9.603 s]
[INFO] test-core .......................................... SUCCESS [ 3.419 s]
[INFO] Shields4J client ................................... SUCCESS [ 9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------
In če gre kaj narobe, naloga zagotovo ne bo uspela
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1038".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR]
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR]
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR] Rule "signature-staging" failures
[ERROR] * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 4.073 s]
[INFO] test-core .......................................... SUCCESS [ 2.788 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
Posledično nam ostane le ena izbira. Izbrišite to različico ali jo objavite.
Po sprostitvi bodo čez nekaj časa artefakti notri
offtopic
Zame je bilo odkritje, da maven indeksira druga javna skladišča.
Dodati sem moral robots.txt, ker je indeksiral moje staro skladišče.
Ločen projekt razmestitve, v katerem lahko implementirate več nalog CI za nalaganje artefaktov v javne repozitorije za različne razvojne jezike.
Projekt Deploy je izoliran od zunanjih motenj in ga lahko spremenijo samo uporabniki z vlogama lastnika in vzdrževalca.
Ločen Specific Runner z "vročim" predpomnilnikom za zagon samo nalog uvajanja.
Objavljanje različic posnetkov/izdaj v javnem repozitoriju.
Samodejno preverjanje različice izdaje za pripravljenost za objavo v maven centrali.
Zaščita pred samodejno objavo »surovih« različic v maven central.
Zgradite in objavite različice posnetkov »na klik«.
En sam repozitorij za pridobivanje različic posnetkov/izdaj.
Splošni cevovod za gradnjo/testiranje/objavo projekta Java.
Nastavitev GitLab CI ni tako zapletena tema, kot se zdi na prvi pogled. Dovolj je, da nekajkrat nastavite CI na ključ in zdaj v tej zadevi še zdaleč niste amater. Poleg tega je dokumentacija GitLab zelo odveč. Ne bojte se narediti prvega koraka. Cesta se pojavi pod koraki osebe, ki hodi (ne spomnim se, kdo je to rekel :)
Vesel bom povratnih informacij.
V naslednjem članku bom govoril o tem, kako konfigurirati GitLab CI za konkurenčno izvajanje nalog z integracijskimi testi (izvajanje testiranih storitev z uporabo docker-compose), če imate samo en lupinski izvajalec.