Ovaj članak je namijenjen Java programerima koji imaju potrebu brzo objaviti svoje proizvode u repozitorijima Sonatype i/ili Maven Central koristeći GitLab. U ovom članku ću objasniti kako postaviti gitlab-runner, gitlab-ci i maven-plugin za rješavanje ovog zadatka.
Preduslovi:
- Sigurno čuvanje mvn i GPG ključeva.
- Sigurno izvršavanje javnih CI zadataka.
- Postavljanje artefakata (release/snapshot) u javne repozitorije.
- Automatska provjera release verzija za objavljivanje u Maven Central.
- Opće rješenje za učitavanje artefakata u repozitorij za više projekata.
- Jednostavnost i lakoća korištenja.
Sadržaj
Opšte informacije
- Detaljan opis mehanizma objavljivanja artefakata u Maven Central kroz Sonatype OSS Repository Hosting Service već je opisan u korisniku , tako da ću u potrebnim dijelovima upućivati na ovaj članak.
- Prethodno se registrujemo u i otvaramo tiket za otvaranje repozitorija (detaljnije u odjeljku ). Nakon otvaranja repozitorija, par korisničko ime/lozinka sa JIRA (dalje Sonatype nalog) će se koristiti za učitavanje artefakata u Sonatype nexus.
- Metoda generisanja GPG ključa je opisana prilično suho. Detaljnije pogledajte odjeljak
- Ako koristite Linux konzolu za generisanje GPG ključa (gnupg/gnupg2), potrebno je instalirati za generisanje entropije. U suprotnom, generisanje ključa može se odvijati jako dugo.
- Službe za čuvanje javnih GPG ključeva
Postavljanje deploy projekta u GitLab
- Prvo je potrebno stvoriti i postaviti projekat u kojem će biti pohranjen pipeline za deploy artefakata. Moj projekat sam nazvao jednostavno i bez mnogo pompa —
- Nakon stvaranja repozitorija, potrebno je ograničiti pristup za izmjenu repozitorija.
Idemo u projekat -> Postavke -> Repozitorij -> Zaštićene grane. Brišemo sve regulative i dodajemo jedinu regulativu sa Wildcard * sa pravom na push i merge samo za korisnike s ulogom Maintainers. Ova regulativa će važiti za sve korisnike i ovog projekta, kao i za grupu u koju ovaj projekat ulazi.
- Ako ima više održavatelja, najbolje rješenje je ograničiti pristup projektu u cjelini.
Idemo na projekt -> Postavke -> Općenito -> Vidljivost, značajke projekta, dozvole i postavljamo vidljivost projekta na Privatno.
Projekt mi je javno dostupan jer koristim vlastiti GitLab Runner i pristup za promjenu repozitorija imam samo ja. Također, nije mi u interesu otkrivati privatne informacije u javnim pipeline logovima. - Oštrenje pravila za promjenu repozitorija
Idemo na projekt -> Postavke -> Repozitorij -> Pravila za slanje i postavljamo oznake Restrikcija commitera, Provjerite je li autor korisnik GitLaba. Također preporučujem postavljanje , i označavamo oznaku Odbaci nesigned commits. - Nakon toga potrebno je postaviti trigger za pokretanje zadataka
Idemo na projekt -> Postavke -> CI / CD -> Triggeri pipeline-a i kreiramo novi trigger-token
Ovaj token odmah možemo dodati u zajedničku konfiguraciju varijabli za grupu projekata.
Idemo na grupu -> Postavke -> CI / CD -> Varijable i dodajemo varijabluDEPLOY_TOKENs trigger-token vrijednošću.
GitLab Runner-a
U ovom odjeljku opisuje se konfiguracija za pokretanje zadataka na deploy s korištenjem vlastitog (Specifičnog) i javnog (Dijeljenog) runner-a.
Specifični runner
Koristim vlastite runnere jer je to prije svega praktično, brzo i jeftino.
Za runner preporučujem linux VDS s 1 CPU, 2 GB RAM, 20 GB HDD. Cijena je oko 3000₽ godišnje.
Moj runner
Za runner uzeo sam VDS 4 CPU, 4 GB RAM, 50 GB SSD. Koštao je oko 11000₽ i nikada nisam požalio.
Ukupno imam 7 mašina. 5 na arubi i 2 na ihoru.
Dakle, imamo runner. Sada ga postavljamo.
Prijavljujemo se na mašinu putem SSH i instaliramo java, git, maven, gnupg2.
Instaliramo gitlab runner
- Kreiramo novu grupu
runnersudo groupadd runner - Kreiramo direktorij za maven cache i dodjeljujemo prava grupi
runner
Ovu točku možete preskočiti ako ne planirate pokretati više runnere na jednoj mašini.mkdir -p /usr/cache/.m2/repository chown -R :runner /usr/cache chmod -R 770 /usr/cache - Kreiramo korisnika
gitlab-deployeri dodajemo u grupurunneruseradd -m -d /home/gitlab-deployer gitlab-deployer usermod -a -G runner gitlab-deployer - Dodajemo u datoteku
/etc/ssh/sshd_configsljedeću linijuAllowUsers root@* gitlab-deployer@127.0.0.1 - Ponovno pokrećemo
sshdsystemctl restart sshd - Postavljamo lozinku za korisnika
gitlab-deployer(može biti jednostavna, jer se primjenjuje ograničenje za localhost)passwd gitlab-deployer - Instaliramo GitLab Runner (Linux x86-64)
sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64 sudo chmod +x /usr/local/bin/gitlab-runner ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner - Idemo na sajt gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners i kopiramo registration token
Screenshot
- Registrujemo runner
gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml
Proces
Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Molimo unesite gitlab-ci coordinator URL (npr. https://gitlab.com/):
https://gitlab.com/
Molimo unesite gitlab-ci token za ovog runner-a:
REGISTRATION_TOKEN
Molimo unesite gitlab-ci opis za ovog runner-a:
[ih1174328.vds.myihor.ru]: Deploy Runner
Molimo unesite gitlab-ci oznake za ovog runner-a (razdvojene zarezom):
deploy
Registracija runner-a... uspešna runner=ZvKdjJhx
Molimo unesite executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner je uspešno registrovan. Možete ga pokrenuti, ali ako već radi, konfiguracija bi trebala biti automatski ponovo učitana!- Proveravamo da li je runner registrovan. Idemo na sajt gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners aktivirani za ovaj projekat
Screenshot
- Dodajemo odvojeni usluga
/etc/systemd/system/gitlab-deployer.service[Unit] Description=GitLab Deploy Runner After=syslog.target network.target ConditionFileIsExecutable=/usr/local/bin/gitlab-runner [Service] StartLimitInterval=5 StartLimitBurst=10 ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer" Restart=always RestartSec=120 [Install] WantedBy=multi-user.target - Pokrećemo servis.
systemctl enable gitlab-deployer.service systemctl start gitlab-deployer.service systemctl status gitlab-deployer.service - Proveravamo da li je runner pokrenut.
Primjer
Generisanje GPG ključeva
- Sa ove iste mašine se prijavljujemo putem ssh kao korisnik
gitlab-deployer(to je važno za generisanje GPG ključa)ssh gitlab-deployer@127.0.0.1 - Generišemo ključ odgovarajući na pitanja. Koristio sam svoje ime i email.
Obavezno navedite lozinku za ključ. Tim ključem će se potpisivati artefakti.gpg --gen-key - Proveravamo
gpg --list-keys -a /home/gitlab-deployer/.gnupg/pubring.gpg ---------------------------------------- pub 4096R/00000000 2019-04-19 uid Petruha Petrov sub 4096R/11111111 2019-04-19 - Učitavamo naš javni ključ na server ključeva
gpg --keyserver keys.gnupg.net --send-key 00000000 gpg: slanje ključa 00000000 na hkp server keys.gnupg.net
Postavljanje Mavena
- Prijavljujemo se kao korisnik
gitlab-deployersu gitlab-deployer - Kreiramo dirketorijum maven repository i linkujemo sa kešem (ne grešite)
Ovu tačku možete preskočiti ukoliko ne planirate da pokrenete više runner-a na istoj mašini.mkdir -p ~/.m2/repository ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository - Kreiramo master ključ
mvn --encrypt-master-password password {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=} - Kreiramo fajl ~/.m2/settings-security.xml
{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=} - Šifriramo lozinku za Sonatype nalog
mvn --encrypt-password SONATYPE_PASSWORD {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J} - Kreiramo datoteku ~/ .m2 / settings.xml
env true GPG_SECRET_KEY_PASSPHRASE sonatype SONATYPE_USERNAME {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
gde,
GPG_SECRET_KEY_PASSPHRASE — lozinka za GPG ključ
SONATYPE_USERNAME — korisničko ime naloga sonatype
Time je podešavanje runnera završeno, možemo preći na deo
Zajednički runner
Generisanje GPG ključeva
- Pre svega, potrebno je kreirati GPG ključ. Za to instaliramo gnupg.
yum install -y gnupg - Generišemo ključ odgovarajući na pitanja. Koristio sam svoje ime i e-mail. Obavezno navedite lozinku za ključ.
gpg --gen-key - Prikazujemo informacije o ključu
gpg --list-keys -a pub rsa3072 2019-04-24 [SC] [expires: 2021-04-23] 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 uid [ultimate] tttemp sub rsa3072 2019-04-24 [E] [expires: none] - Učitavamo naš javni ključ na server ključeva
gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 gpg: slanje ključa 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 na hkp server keys.gnupg.net - Dobijamo privatni ključ
gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 -----BEGIN PGP PRIVATE KEY BLOCK----- lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5 ... =2Wd2 -----END PGP PRIVATE KEY BLOCK----- - Idemo do podešavanja projekta -> Settings -> CI / CD -> Variables i čuvamo privatni ključ u promenljivoj
GPG_SECRET_KEY
Postavljanje Mavena
- Kreiramo master ključ
mvn --encrypt-master-password password {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=} - Idemo do podešavanja projekta -> Settings -> CI / CD -> Variables i čuvamo u promenljivoj
SETTINGS_SECURITY_XMLsledeće linije:{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=} - Šifriramo lozinku za Sonatype nalog
mvn --encrypt-password SONATYPE_PASSWORD {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J} - Idemo do podešavanja projekta -> Settings -> CI / CD -> Variables i čuvamo u promenljivoj
SETTINGS_XMLsledeće linije:env true GPG_SECRET_KEY_PASSPHRASE sonatype sonatype_username {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
gde,
GPG_SECRET_KEY_PASSPHRASE — lozinka za GPG ključ
SONATYPE_USERNAME — korisničko ime naloga sonatype
Deploy docker slike
- Kreiramo dovoljno jednostavan Dockerfile za pokretanje zadataka na deploy sa potrebnom verzijom Jave. U nastavku je primer za alpine.
FROM java:8u111-jdk-alpine RUN apk add gnupg maven git --update-cache --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && mkdir ~/ .m2 / - Gradimo kontejner za vaš projekat
docker build -t registry.gitlab.com/group/deploy . - Autentifikujemo se i učitavamo kontejner u registry.
docker login -u USER -p PASSWORD registry.gitlab.com docker push registry.gitlab.com/group/deploy
GitLab CI
Deploy projekta
Dodajemo datoteku .gitlab-ci.yml u korenski direktorij deploy-projekta
U skripti su predstavljene dvije međusobno isključive zadaće za implementaciju. Specifični Runner ili Zajednički Runner respektivno.
.gitlab-ci.yml
stages:
- deploy
Specifični Runner:
extends: .java_deploy_template
# Zadatak će se izvršavati na vašem shell-runnere
tags:
- deploy
Zajednički Runner:
extends: .java_deploy_template
# Zadatak će se izvršavati na javnom docker-runnere
tags:
- docker
# Slika iz odjeljka GitLab Runner -> Zajednički Runner -> Docker
image: registry.gitlab.com/group/deploy-project:latest
before_script:
# Uvozimo GPG ključ
- printf "${GPG_SECRET_KEY}" | gpg --batch --import
# Spremamo maven konfiguraciju
- printf "${SETTINGS_SECURITY_XML}" > ~/\.m2/settings-security.xml
- printf "${SETTINGS_XML}" > ~/\.m2/settings.xml
.java_deploy_template:
stage: deploy
# Zadatak će se pokrenuti na temelju okidača, ako je proslijeđena varijabla DEPLOY sa vrijednošću java
only:
variables:
- $DEPLOY == "java"
variables:
# onemogućavamo kloniranje trenutnog projekta
GIT_STRATEGY: none
script:
# Omogućavamo pohranu lozinke u nešifriranom formatu
- git config --global credential.helper store
# Spremamo privremene kredite korisnika gitlab-ci-token
# Token radi za sve javne projekte gitlab.com i za projekte grupe
- echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/\.git-credentials
# Potpuno čistimo trenutni direktorij
- rm -rf .* *
# Kloniramo projekt koji ćemo implementirati u Sonatype Nexus
- git clone ${DEPLOY_CI_REPOSITORY_URL} .
# Prebacujemo se na potrebnu reviziju
- git checkout ${DEPLOY_CI_COMMIT_SHA} -f
# Ako bilo koji pom.xml sadrži parametar autoReleaseAfterClose, rušimo gradnju.
# U suprotnom postoji rizik od slanja sirovih artefakata u maven central
- >
for pom in $(find . -name pom.xml); do
if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
echo "Datoteka $pom sadrži zabranjeno podešavanje: ";
exit 1;
fi;
done
# Ako je parametar DEPLOY_CI_COMMIT_TAG prazan, tada prisilno postavljamo SNAPSHOT-verziju
- >
if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
else
VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
if [[ "${VERSION}" == *-SNAPSHOT ]]; then
mvn versions:set -DnewVersion=${VERSION}
else
mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
fi
fi
# Pokrećemo zadatak za gradnju i implementaciju artefakata
- mvn clean deploy -DskipTests=trueJava projekat
U java projektima koji se planiraju učitati u javne repozitorije potrebno je dodati 2 koraka za učitavanje Release i Snapshot verzija.
.gitlab-ci.yml
faze:
- izgradnja
- testiranje
- verifikacija
- implementacija
Release:
proširuje: .trigger_deploy
# Pokrenuti zadatak samo na osnovu taga.
samo:
- tagovi
Snapshot:
proširuje: .trigger_deploy
# Pokrećemo zadatak za objavljivanje SNAPSHOT verzije ručno
kada: ručno
# Ne pokrećite zadatak ako je postavljen tag.
osim:
- tagovi
.trigger_deploy:
faza: implementacija
varijable:
# Onemogućava kloniranje trenutnog projekta
GIT_STRATEGY: none
# URL za okidač deploy-zadatka
URL: "https://gitlab.com/api/v4/projects//trigger/pipeline"
# Varijable deploy-zadatka
POST_DATA: "
token=${DEPLOY_TOKEN}&
ref=master&
variables[DEPLOY]=${DEPLOY}&
variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
"
skripta:
# Ne koristim cURL, jer sa flagovima --fail --show-error
# ne prikazuje telo odgovora, ako je HTTP kod 400 i više
- wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}U ovom rešenju otišao sam malo dalje i odlučio da koristim jedan CI šablon za java projekte.
Detaljnije
Kreirao sam poseban projekat u kojem sam postavio CI šablon za java projekte .
common.yml
faze:
- izgradnja
- testiranje
- verifikacija
- implementacija
varijable:
SONAR_ARGS: "
-Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA}
-Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME}
"
.build_java_project:
faza: izgradnja
tagovi:
- touchbit-shell
varijable:
SKIP_TEST: "false"
skripta:
- mvn clean
- mvn package -DskipTests=${SKIP_TEST}
artefakti:
kada: uvek
ističe: 30 dana
putevi:
- "*\/target\/reports"
.build_sphinx_doc:
faza: izgradnja
tagovi:
- touchbit-shell
varijable:
DOCKERFILE: .indirect\/docs\/Dockerfile
skripta:
- docker build --no-cache -t ${CI_PROJECT_NAME}\/doc -f ${DOCKERFILE} .
.junit_module_test_run:
faza: testiranje
tagovi:
- touchbit-shell
varijable:
MODUL: ""
skripta:
- cd ${MODUL}
- mvn test
artefakti:
kada: uvek
ističe: 30 dana
putevi:
- "*\/target\/reports"
.junit_test_run:
faza: testiranje
tagovi:
- touchbit-shell
skripta:
- mvn test
artefakti:
kada: uvek
ističe: 30 dana
putevi:
- "*\/target\/reports"
.sonar_review:
faza: verifikacija
tagovi:
- touchbit-shell
zavisnosti: []
skripta:
- >
if [ "$CI_BUILD_REF_NAME" == "master" ]; then
mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
else
mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
fi
.trigger_deploy:
faza: implementacija
tagovi:
- touchbit-shell
varijable:
URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
POST_DATA: "
token=${DEPLOY_TOKEN}&
ref=master&
variables[DEPLOY]=${DEPLOY}&
variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
"
skripta:
- wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}
.trigger_release_deploy:
proširuje: .trigger_deploy
samo:
- tagovi
.trigger_snapshot_deploy:
proširuje: .trigger_deploy
kada: ručno
osim:
- tagovi
Kao rezultat toga, sami java projekti .gitlab-ci.yml izgledaju prilično kompaktno i ne prepuni teksta
.gitlab-ci.yml
include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml
Shields4J:
extends: .build_java_project
Sphinx doc:
extends: .build_sphinx_doc
variables:
DOCKERFILE: .docs/Dockerfile
Sonar review:
extends: .sonar_review
dependencies:
- Shields4J
Release:
extends: .trigger_release_deploy
Snapshot:
extends: .trigger_snapshot_deployKonfiguracija pom.xml
Ova tema je veoma detaljno opisano u , pa ću opisati neke nijanse korišćenja plugina. Takođe ću opisati kako se lako i opušteno može koristiti nexus-staging-maven-plugin, ako ne želite ili ne možete koristiti org.sonatype.oss:oss-parent kao roditelja za svoj projekat.
maven-install-plugin
Instalira module u lokalni repozitorijum.
Veoma koristan za lokalnu proveru rešenja u drugim projektima, kao i za kontrolne sume.
org.apache.maven.plugins
maven-install-plugin
install-project
install
target/${project.artifactId}-${project.version}.jar
target/${project.artifactId}-${project.version}-sources.jar
dependency-reduced-pom.xml
true
truemaven-javadoc-plugin
Generisanje javadoc-a za projekat.
org.apache.maven.plugins
maven-javadoc-plugin
jar
prepare-package
true
true
falseAko imate modul koji ne sadrži java (na primer, samo resurse)
Ili ne želite uopšte generisati javadoc, onda je tu pomoć maven-jar-plugin
org.apache.maven.plugins
maven-jar-plugin
empty-javadoc-jar
generate-resources
jar
javadoc
${basedir}/javadocmaven-gpg-plugin
org.apache.maven.plugins
maven-gpg-plugin
sign-artifacts
deploy
signnexus-staging-maven-plugin
Konfiguracija:
org.sonatype.plugins
nexus-staging-maven-plugin
org.sonatype.plugins
nexus-staging-maven-plugin
true
sonatype
https://oss.sonatype.org/
true
org.apache.maven.plugins
maven-deploy-plugin
true
sonatype
Nexus Snapshot Repository
https://oss.sonatype.org/content/repositories/snapshots/
sonatype
Nexus Release Repository
https://oss.sonatype.org/service/local/staging/deploy/maven2/Ako imate višemodulski projekat i nije potrebno da određeni modul učitate u repozitorij, dodajte u pom.xml tog modula nexus-staging-maven-plugin s zastavom skipNexusStagingDeployMojo
org.sonatype.plugins
nexus-staging-maven-plugin
trueNakon učitavanja snapshot/release verzije dostupne su u
<repositories>
<repository>
<id>SonatypeNexus<\/id>
<url>https:\/\/oss.sonatype.org\/content\/groups\/staging\/<\/url>
<!-- Ne treba navoditi snapshot\/release zastavice za repozitorij -->
<\/repository>
<\/repositories>Još prednosti
- Vrlo bogat spisak ciljeva za rad sa nexus repozitorijem (
mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin). - Automatska provjera releasa za mogućnost učitavanja u maven central
Rezultat
Objavljivanje SNAPSHOT verzije
Prilikom gradnje projekta postoji mogućnost ručnog pokretanja zadatka za učitavanje SNAPSHOT verzije u nexus
Pokretanjem ovog zadatka aktivira se odgovarajući zadatak u projektu deploy ().
Skraćeni log
Pokreće se s gitlab-runner 11.10.0 (3001a600)
na Deploy runner JSKWyxUw
Koristeći Shell izvršitelj...
Pokreće se na ih1174328.vds.myihor.ru...
Preskoči pripremu Git repozitorija
Preskoči Git preuzimanje
Preskoči postavljanje Git podmodula
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/ .git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Kliranje u 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Napomena: prebacivanje na '850f86aa317194395c5387790da1350e437125a7'.
Nalazite se u 'odvojenom HEAD' stanju. Možete se kretati, napraviti eksperimentalne
izmjene i priključiti ih, a možete odbaciti sve promjene koje napravite u ovom
stanju bez utjecaja na bilo koje grane tako što ćete ponovo izvršiti checkout.
Ako želite stvoriti novu granu kako biste zadržali promjene koje ste napravili, možete
to učiniti (sada ili kasnije) koristeći -b s komandom checkout ponovo. Primjer:
git checkout -b new_branch_name
HEAD je sada na 850f86a... preskoči deploy test-core
$ for pom in $(find . -name pom.xml); do # skraćenje višelinijske komande
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # skraćenje višelinijske komande
[INFO] Skener za projekte...
[INFO] Inspekcija gradnje s ukupno 4 modula...
[INFO] Instaliranje Nexus Staging značajki:
[INFO] ... ukupno 4 izvršenja maven-deploy-plugin zamijenjena s nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Redoslijed gradnje reaktora:
[INFO]
[INFO] Shields4J [pom]
[INFO] test-core [jar]
[INFO] Shields4J klijent [jar]
[INFO] TestNG slušatelj [jar]
[INFO]
[INFO] -----------------------------
[INFO] Gradnja Shields4J 1.0.0 [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO]
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Traženje lokalnog korijena agregatora...
[INFO] Lokalni korijen agregiranja: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Obrada promjene org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Obrada org.touchbit.shields4j:shields4j-parent
[INFO] Ažuriranje projekta org.touchbit.shields4j:shields4j-parent
[INFO] iz verzije 1.0.0 u 1.0.0-SNAPSHOT
[INFO]
[INFO] Obrada org.touchbit.shields4j:klijent
[INFO] Ažuriranje roditelja org.touchbit.shields4j:shields4j-parent
[INFO] iz verzije 1.0.0 u 1.0.0-SNAPSHOT
[INFO] Ažuriranje zavisnosti org.touchbit.shields4j:test-core
[INFO] iz verzije 1.0.0 u 1.0.0-SNAPSHOT
[INFO]
[INFO] Obrada org.touchbit.shields4j:test-core
[INFO] Ažuriranje roditelja org.touchbit.shields4j:shields4j-parent
[INFO] iz verzije 1.0.0 u 1.0.0-SNAPSHOT
[INFO]
[INFO] Obrada org.touchbit.shields4j:testng
[INFO] Ažuriranje roditelja org.touchbit.shields4j:shields4j-parent
[INFO] iz verzije 1.0.0 u 1.0.0-SNAPSHOT
[INFO] Ažuriranje zavisnosti org.touchbit.shields4j:klijent
[INFO] iz verzije 1.0.0 u 1.0.0-SNAPSHOT
[INFO] Ažuriranje zavisnosti org.touchbit.shields4j:test-core
[INFO] iz verzije 1.0.0 u 1.0.0-SNAPSHOT
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Sažetak reaktora:
[INFO]
[INFO] Shields4J 1.0.0 .................................... USPJEH [ 0.992 s]
[INFO] test-core .......................................... PRESKOČENO
[INFO] Shields4J klijent ................................... PRESKOČENO
[INFO] TestNG slušatelj 1.0.0 .............................. PRESKOČENO
[INFO] ------------------------------------------------------------------------
[INFO] GRADNJA USPJEH
[INFO] ------------------------------------------------------------------------
[INFO] Ukupno vrijeme: 2.483 s
[INFO] Završeno: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Skener za projekte...
[INFO] Inspekcija gradnje s ukupno 4 modula...
[INFO] Instaliranje Nexus Staging značajki:
[INFO] ... ukupno 4 izvršenja maven-deploy-plugin zamijenjena s nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Redoslijed gradnje reaktora:
[INFO]
[INFO] Shields4J [pom]
[INFO] test-core [jar]
[INFO] Shields4J klijent [jar]
[INFO] TestNG slušatelj [jar]
[INFO]
[INFO] -----------------------------
[INFO] Gradnja Shields4J 1.0.0-SNAPSHOT [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
IZBRISANO
...
[INFO] * Masovni pojam lokalno skupljenih snimaka završen.
[INFO] Daljinsko slanje završeno s uspjehom.
[INFO] ------------------------------------------------------------------------
[INFO] Sažetak reaktora:
[INFO]
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... USPJEH [ 2.375 s]
[INFO] test-core .......................................... USPJEH [ 3.929 s]
[INFO] Shields4J klijent ................................... USPJEH [ 3.815 s]
[INFO] TestNG slušatelj 1.0.0-SNAPSHOT ..................... USPJEH [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] GRADNJA USPJEH
[INFO] ------------------------------------------------------------------------
[INFO] Ukupno vrijeme: 47.629 s
[INFO] Završeno: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------Kao rezultat toga, verzija je učitana u nexus .
Sve snapshot verzije mogu se obrisati iz repozitorija na sajtu pod vašim korisničkim računom.
Objavljivanje release verzije
Pri postavljanju taga, automatski se pokreće odgovarajući zadatak u projektu deploy za učitavanje verzije izdanja u nexus ().
Najlepše je to što se automatski aktivira close release u nexus.
[INFO] Izvođenje remote staging-a...
[INFO]
[INFO] * Remote staging u staging profil ID "9043b43f77dcc9"
[INFO] * Kreiran je staging repozitorijum sa ID "orgtouchbit-1037".
[INFO] * Staging repozitorijum na https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO] * Učitavanje lokalno stvorenih artefakata na profil org.touchbit
[INFO] * Učitavanje lokalno stvorenih artefakata završeno.
[INFO] * Zatvaranje staging repozitorijuma sa ID "orgtouchbit-1037".
Čekanje na završetak operacije...
.........
[INFO] Uspješno je remote staged 1 repozitorijum, završeno sa uspehom.
[INFO] ------------------------------------------------------------------------
[INFO] Pregled reaktora:
[INFO]
[INFO] Shields4J 1.0.0 .................................... USPEH [ 9.603 s]
[INFO] test-core .......................................... USPEH [ 3.419 s]
[INFO] Shields4J klijent ................................... USPEH [ 9.793 s]
[INFO] TestNG slušalac 1.0.0 .............................. USPEH [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] GRADNJA USPEŠNA
[INFO] ------------------------------------------------------------------------
[INFO] Ukupno vreme: 01:47 min
[INFO] Završeno u: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------I ako nešto pođe po zlu, zadatak će se sigurno neuspeti
[INFO] Izvršavanje udaljenog staginga...
[INFO]
[INFO] * Udaljeno staginga u profil staginga ID "9043b43f77dcc9"
[INFO] * Kreiran staging repozitorij sa ID "orgtouchbit-1038".
[INFO] * Staging repozitorij na https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO] * Učitavanje lokalno stvorenih artefakata u profil org.touchbit
[INFO] * Učitavanje lokalno stvorenih artefakata završeno.
[INFO] * Zatvaranje staging repozitorija sa ID "orgtouchbit-1038".
Čekaj na završetak operacije...
.......
[ERROR] Greška pravila prilikom pokušaja zatvaranja staging repozitorija sa ID "orgtouchbit-1039".
[ERROR]
[ERROR] Izveštaj o greškama pravila Nexus Staginga
[ERROR] ==================================
[ERROR]
[ERROR] Greške repozitorija "orgtouchbit-1039"
[ERROR] Greške pravila "signature-staging"
[ERROR] * Nema javnog ključa: Ključ sa id: (1f42b618d1cbe1b5) nije mogao biti lociran na http://keys.gnupg.net:11371/. Učitaj svoj javni ključ i pokušaj operaciju ponovo.
...
[ERROR] Čišćenje lokalnog direktorijuma za staging nakon greške pravila tokom zatvaranja staging repozitorija: [orgtouchbit-1039]
[ERROR] * Brisanje konteksta 9043b43f77dcc9.properties
[ERROR] Čišćenje udaljenih staging repozitorija nakon greške pravila tokom zatvaranja staging repozitorija: [orgtouchbit-1039]
[ERROR] * Dropping failed staging repository with ID "orgtouchbit-1039" (Greška pravila tokom zatvaranja staging repozitorija: [orgtouchbit-1039]).
[ERROR] Udaljeno staging završeno sa greškom: Greška pravila za staging!
[INFO] ------------------------------------------------------------------------
[INFO] Sažetak reaktora:
[INFO]
[INFO] Shields4J 1.0.0 .................................... USPEŠNO [ 4.073 s]
[INFO] test-core .......................................... USPEŠNO [ 2.788 s]
[INFO] Shields4J klijent ................................... USPEŠNO [ 3.962 s]
[INFO] TestNG slušalac 1.0.0 .............................. NEUSPESNO [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] GREŠKA U GRADNJI
[INFO] ------------------------------------------------------------------------Na kraju nam ostaje jedina opcija. Ili da obrišemo ovu verziju ili da je objavimo.
Nakon objavljivanja, nakon nekog vremena, artefakti će se naći u
off-topic
Za mene je bilo otkrovenje da maven indeksira druge javne repozitorije.
Morao sam dodati robots.txt, jer je indeksirao moj stari repozitorij.
Zaključak
Šta imamo
- Odvojen deploy-projekt u kojem se mogu realizovati nekoliko CI zadataka za učitavanje artefakata u javne repozitorije za različite programerske jezike.
- Deploy-projekt je izolovan od stranih intervencija i može biti promenjen samo korisnicima sa ulogom Vlasnik i Održavač.
- Poseban Specific Runner sa "vrućim" kešom za pokretanje samo deploy zadataka.
- Objavljivanje snapshot/release verzija u javnom repozitoriju.
- Automatska provera release verzije na spremnost za objavljivanje u maven central.
- Zaštita od automatskog objavljivanja "sirovih" verzija u maven central.
- Izgradnja i objavljivanje snapshot verzija "jednim klikom".
- Jedinstveni repozitorij za dobijanje snapshot/release verzija.
- Opći tok za izgradnju/testiranje/publikaciju java projekta.
Postavljanje GitLab CI nije tako složena tema kao što se na prvi pogled čini. Dovoljno je nekoliko puta postaviti CI 'ključ u ruke' i već si daleko od amatera u ovom poslu. Osim toga, dokumentacija GitLab-a je prilično opširna. Ne bojte se napraviti prvi korak. Put se stvara pod nogama onoga tko hoda (ne sjećam se ko je to rekao 🙂).
Bit ću zahvalan na povratnoj informaciji.
U sljedećem članku ću govoriti o tome kako postaviti GitLab CI za konkurentno pokretanje zadataka s integracijskim testovima (s pokretanjem testiranih servisa pomoću docker-compose), ako imate samo jedan shell runner.
Izvor: habr.com
