ProHoster > Blog > administratë > Vendosja e GitLab CI për të ngarkuar një projekt java në maven central
Vendosja e GitLab CI për të ngarkuar një projekt java në maven central
Ky artikull është menduar për zhvilluesit e Java-s të cilët duhet të publikojnë shpejt produktet e tyre në depot qendrore sonatype dhe/ose maven duke përdorur GitLab. Në këtë artikull, unë do të flas për vendosjen e gitlab-runner, gitlab-ci dhe maven-plugin për të zgjidhur këtë problem.
Parakushtet:
Ruajtja e sigurt e çelësave mvn dhe GPG.
Ekzekutimi i sigurt i detyrave të CI publike.
Ngarkimi i objekteve (lëshim/fotografi) në depo publike.
Kontroll automatik i versioneve të lëshimit për publikim në maven central.
Një zgjidhje e përgjithshme për ngarkimin e objekteve në një depo për projekte të shumta.
Një përshkrim i detajuar i mekanizmit për publikimin e objekteve në Maven Central nëpërmjet Shërbimit Pritës të Depove Sonatype OSS është përshkruar tashmë në Ky artikull përdorues Googolplex, kështu që unë do t'i referohem këtij artikulli në vendet e duhura.
Regjistrohu paraprakisht në Sonatipi JIRA dhe filloni një biletë për të hapur depon (për më shumë detaje, lexoni seksionin Krijo një biletë Sonatype JIRA). Pas hapjes së depove, çifti i hyrjes/fjalëkalimit JIRA (më tej referuar si llogaria Sonatype) do të përdoret për të ngarkuar objekte në lidhjen Sonatype.
Nëse jeni duke përdorur konsolën Linux për të gjeneruar një çelës GPG (gnupg/gnupg2), atëherë duhet të instaloni RNG-tools për të gjeneruar entropi. Përndryshe, gjenerimi i çelësave mund të marrë një kohë shumë të gjatë.
Para së gjithash, ju duhet të krijoni dhe konfiguroni një projekt në të cilin tubacioni do të ruhet për vendosjen e objekteve. E quajta projektin tim thjesht dhe të pakomplikuar - vendosur
Pas krijimit të depove, duhet të kufizoni aksesin për të ndryshuar depon.
Shkoni te projekti -> Cilësimet -> Depoja -> Degët e mbrojtura. Ne i fshijmë të gjitha rregullat dhe shtojmë një rregull të vetëm me Wildcard * me të drejtën për të shtyrë dhe bashkuar vetëm për përdoruesit me rolin e Mirëmbajtjes. Ky rregull do të funksionojë për të gjithë përdoruesit e këtij projekti dhe grupit të cilit i përket ky projekt.
Nëse ka disa mirëmbajtës, atëherë zgjidhja më e mirë do të ishte kufizimi i aksesit në projekt në parim.
Shkoni te projekti -> Cilësimet -> Të përgjithshme -> Dukshmëria, veçoritë e projektit, lejet dhe vendosni dukshmërinë e projektit në privat.
Unë kam një projekt në akses publik, pasi përdor GitLab Runner-in tim dhe vetëm unë kam akses për të modifikuar depon. Epo, në fakt nuk është në interesin tim të tregoj informacion privat në regjistrat e tubacioneve publike.
Shtrëngimi i rregullave për ndryshimin e depove
Shkoni te projekti -> Cilësimet -> Depoja -> Rregullat e shtytjes dhe vendosni kufizimet e komitetit, kontrolloni nëse autori është përdorues i GitLab. Unë gjithashtu rekomandoj vendosjen angazhohen për nënshkrimin, dhe vendosni flamurin Refuzo unsigned commits.
Tjetra, duhet të konfiguroni një shkas për të ekzekutuar detyrat
Shkoni te projekti -> Cilësimet -> CI / CD -> Aktivizuesit e tubacionit dhe krijoni një shenjë të re të aktivizimit
Kjo shenjë mund të shtohet menjëherë në konfigurimin e përgjithshëm të variablave për një grup projektesh.
Shkoni te grupi -> Cilësimet -> CI / CD -> Variablat dhe shtoni një ndryshore DEPLOY_TOKEN me shkas-token në vlerë.
Ky seksion përshkruan konfigurimin për ekzekutimin e detyrave gjatë vendosjes duke përdorur ekzekutuesin vendas (Specifik) dhe publik (Shared).
Vrapues specifik
Unë përdor vrapuesit e mi, sepse para së gjithash është i përshtatshëm, i shpejtë, i lirë.
Për runner rekomandoj Linux VDS me 1 CPU, 2 GB RAM, 20 GB HDD. Çmimi i emetimit ~ 3000₽ në vit.
Vrapuesi im
Për vrapuesin mora VDS 4 CPU, 4 GB RAM, 50 GB SSD. Kushtoi ~ 11000₽ dhe nuk u pendova kurrë.
Kam gjithsej 7 makina. 5 në aruba dhe 2 në ihor.
Pra, ne kemi një vrapues. Tani do ta vendosim.
Shkojmë në makinë përmes SSH dhe instalojmë java, git, maven, gnupg2.
Krijo një direktori për maven cache dhe cakto të drejtat e grupit runner
Mund ta kaloni këtë hap nëse nuk planifikoni të ekzekutoni shumë vrapues në të njëjtën makinë.
Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
Kontrolloni nëse vrapuesi është i regjistruar. Shkoni te gitlab.com -> deploy-project -> Cilësimet -> CI/CD -> Runners -> Specific Runners -> Runners të aktivizuar për këtë projekt
Ekrani
Shtimi të ndara shërbim /etc/systemd/system/gitlab-deployer.service
Ne krijojmë një çelës duke iu përgjigjur pyetjeve. Kam përdorur emrin dhe emailin tim.
Sigurohuni që të specifikoni fjalëkalimin për çelësin. Artefaktet do të nënshkruhen me këtë çelës.
gpg --gen-key
Po kontrollon
gpg --list-keys -a
/home/gitlab-deployer/.gnupg/pubring.gpg
----------------------------------------
pub 4096R/00000000 2019-04-19
uid Petruha Petrov <[email protected]>
sub 4096R/11111111 2019-04-19
Ngarkimi i çelësit tonë publik në serverin e çelësave
gpg --keyserver keys.gnupg.net --send-key 00000000
gpg: sending key 00000000 to hkp server keys.gnupg.net
Krijo një drejtori maven depo dhe lidheni me cache (mos bëni gabim)
Ky hap mund të anashkalohet nëse nuk planifikoni të ekzekutoni disa vrapues në të njëjtën makinë.
Ne krijojmë një Dockerfile mjaft të thjeshtë për të ekzekutuar detyrat në vendosje me versionin e dëshiruar të Java. Më poshtë është një shembull për alpine.
FROM java:8u111-jdk-alpine
RUN apk add gnupg maven git --update-cache
--repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted &&
mkdir ~/.m2/
Shtoni skedarin .gitlab-ci.yml në rrënjën e projektit të vendosjes
Skenari paraqet dy detyra të vendosjes reciproke ekskluzive. Specific Runner ose Shared Runner respektivisht.
.gitlab-ci.yml
stages:
- deploy
Specific Runner:
extends: .java_deploy_template
# Задача будет выполняться на вашем shell-раннере
tags:
- deploy
Shared Runner:
extends: .java_deploy_template
# Задача будет выполняться на публичном docker-раннере
tags:
- docker
# Образ из раздела GitLab Runner -> Shared Runner -> Docker
image: registry.gitlab.com/group/deploy-project:latest
before_script:
# Импортируем GPG ключ
- printf "${GPG_SECRET_KEY}" | gpg --batch --import
# Сохраняем maven конфигурацию
- printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
- printf "${SETTINGS_XML}" > ~/.m2/settings.xml
.java_deploy_template:
stage: deploy
# Задача сработает по триггеру, если передана переменная DEPLOY со значением java
only:
variables:
- $DEPLOY == "java"
variables:
# отключаем клонирование текущего проекта
GIT_STRATEGY: none
script:
# Предоставляем возможность хранения пароля в незашифрованном виде
- git config --global credential.helper store
# Сохраняем временные креды пользователя gitlab-ci-token
# Токен работает для всех публичных проектов gitlab.com и для проектов группы
- echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
# Полностью чистим текущую директорию
- rm -rf .* *
# Клонируем проект который, будем деплоить в Sonatype Nexus
- git clone ${DEPLOY_CI_REPOSITORY_URL} .
# Переключаемся на нужный коммит
- git checkout ${DEPLOY_CI_COMMIT_SHA} -f
# Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
# В противном случае есть риск залить сырые артефакты в maven central
- >
for pom in $(find . -name pom.xml); do
if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
exit 1;
fi;
done
# Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
- >
if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
else
VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
if [[ "${VERSION}" == *-SNAPSHOT ]]; then
mvn versions:set -DnewVersion=${VERSION}
else
mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
fi
fi
# Запускаем задачу на сборку и деплой артефактов
- mvn clean deploy -DskipTests=true
Nëse keni një projekt me shumë module dhe nuk keni nevojë të ngarkoni një modul specifik në depo, atëherë duhet të shtoni në pom.xml të këtij moduli nexus-staging-maven-plugin me flamur skipNexusStagingDeployMojo
<repositories>
<repository>
<id>SonatypeNexus</id>
<url>https://oss.sonatype.org/content/groups/staging/</url>
<!-- Не надо указывать флаги snapshot/release для репозитория -->
</repository>
</repositories>
Më shumë pluse
Një listë shumë e pasur objektivash për të punuar me depon e nexus (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
Kontroll automatik i lëshimit për shkarkueshmërinë në maven central
Kur vendoset etiketa, detyra përkatëse në projektin e vendosjes aktivizohet automatikisht për të ngarkuar versionin e lëshimit në nexus (shembull).
Pjesa më e mirë është se mbyllja e lëshimit aktivizohet automatikisht në nexus.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1037".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 9.603 s]
[INFO] test-core .......................................... SUCCESS [ 3.419 s]
[INFO] Shields4J client ................................... SUCCESS [ 9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------
Dhe nëse diçka shkoi keq, atëherë detyra do të dështojë
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1038".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR]
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR]
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR] Rule "signature-staging" failures
[ERROR] * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 4.073 s]
[INFO] test-core .......................................... SUCCESS [ 2.788 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
Si rezultat, na mbetet vetëm një zgjedhje. Ose fshijeni këtë version ose publikojeni.
Pas lëshimit, pas ca kohësh, artefaktet do të jenë brenda
jashtë temës
Ishte një zbulim për mua që maven indekson depo të tjera publike.
Më duhej të ngarkoja robots.txt sepse ai indeksonte depon time të vjetër.
Një projekt i veçantë vendosjeje në të cilin mund të zbatoni disa detyra CI për ngarkimin e objekteve në depo publike për gjuhë të ndryshme zhvillimi.
Projekti i vendosjes është i izoluar nga ndërhyrjet e jashtme dhe mund të modifikohet vetëm nga përdoruesit me rolet Pronari dhe Mirëmbajtësi.
Një Runner specifik i veçantë me një memorie të fshehtë "të nxehtë" për të ekzekutuar vetëm detyrat e vendosura.
Publikimi i versioneve të çastit/arritjes në një depo publike.
Kontroll automatik i versionit të lëshimit për gatishmërinë për botim në maven central.
Mbrojtje kundër publikimit automatik të versioneve "të papërpunuara" në maven central.
Ndërtoni dhe publikoni versionet e fotografive "me klikim".
Depo e vetme për marrjen e versioneve të fotografive/shfaqjeve.
Tubacioni i përgjithshëm për ndërtimin / testimin / publikimin e një projekti java.
Vendosja e GitLab CI nuk është një temë aq e ndërlikuar sa duket në shikim të parë. Mjafton të vendosni CI në bazë të çelësit disa herë, dhe tani ju jeni larg nga një amator në këtë çështje. Për më tepër, dokumentacioni GitLab është shumë i tepërt. Mos kini frikë të hidhni hapin e parë. Rruga shfaqet nën hapat e personit që ecën (nuk e mbaj mend kush e tha :)
Unë do të jem i lumtur për reagime.
Në artikullin tjetër, unë do t'ju tregoj se si të konfiguroni GitLab CI për të ekzekutuar detyrat e testit të integrimit në mënyrë konkurruese (duke ekzekutuar shërbime testimi me docker-compose) nëse keni vetëm një ekzekutues shell.