Configurando GitLab CI para cargar un proxecto java a Maven Central
Este artigo está destinado a desenvolvedores de Java que teñen a necesidade de publicar rapidamente os seus produtos en repositorios centrais sonatype e/ou maven usando GitLab. Neste artigo falarei sobre a configuración de gitlab-runner, gitlab-ci e maven-plugin para resolver este problema.
Requisitos previos:
Almacenamento seguro de claves mvn e GPG.
Execución segura de tarefas públicas de CI.
Cargando artefactos (lanzamento/instantánea) a repositorios públicos.
Comprobación automática das versións de lanzamento para a súa publicación en Maven Central.
Unha solución xeral para cargar artefactos a un repositorio para varios proxectos.
Xa se describiu unha descrición detallada do mecanismo para publicar artefactos en Maven Central mediante Sonatype OSS Repository Hosting Service. Este artigo usuario Googleolplex, polo que vou referirme a este artigo nos lugares correctos.
Preinscrición para Sonatipo JIRA e abra un ticket para abrir o repositorio (le a sección para máis detalles Crea un ticket en Sonatype JIRA). Despois de abrir o repositorio, empregarase o par inicio de sesión/contrasinal de JIRA (en diante, a conta Sonatype) para cargar artefactos a Sonatype nexus.
Se usas a consola de Linux para xerar unha clave GPG (gnupg/gnupg2), entón tes que instalala ferramentas rng para xerar entropía. En caso contrario, a xeración de claves pode levar moito tempo.
Configurando un proxecto de implementación en GitLab
En primeiro lugar, cómpre crear e configurar un proxecto no que se almacenará a canalización para a implantación de artefactos. Chamei o meu proxecto de forma sinxela e sen complicacións - implantar
Despois de crear o repositorio, cómpre restrinxir o acceso para cambiar o repositorio.
Vaia a proxecto -> Configuración -> Repositorio -> Ramas protexidas. Eliminamos todas as regras e engadimos unha única regra con comodín * con dereito a empurrar e combinar só para os usuarios co rol de mantedores. Esta regra funcionará para todos os usuarios tanto deste proxecto como do grupo ao que este proxecto pertence.
Se hai varios mantedores, entón a mellor solución sería limitar o acceso ao proxecto en principio.
Vaia a proxecto -> Configuración -> Xeral -> Visibilidade, funcións do proxecto, permisos e configura a visibilidade do proxecto Privado.
Teño un proxecto de acceso público, xa que uso o meu propio GitLab Runner e só teño acceso para cambiar o repositorio. Ben, en realidade, non me interesa mostrar información privada nos rexistros públicos de canalizacións.
Endurecemento das regras para cambiar o repositorio
Vaia ao proxecto -> Configuración -> Repositorio -> Regras de inserción e establece a restrición de Committer. Comprobe se o autor é un usuario de GitLab marca. Tamén recomendo a configuración sinatura de compromiso, e establece a marca Rexeitar as confirmacións sen asinar.
A continuación, cómpre configurar un disparador para iniciar tarefas
Vaia a proxecto -> Configuración -> CI/CD -> Disparadores de pipeline e crea un novo token de activación
Este token pódese engadir inmediatamente á configuración xeral de variables para un grupo de proxectos.
Vaia ao grupo -> Configuración -> CI / CD -> Variables e engade unha variable DEPLOY_TOKEN con valor de token disparador.
Nesta sección descríbese a configuración para executar tarefas na implementación usando o teu propio corredor (específico) e público (compartido).
Corredor específico
Eu uso os meus propios corredores porque, en primeiro lugar, é cómodo, rápido e barato.
Para un corredor, recoméndolle un Linux VDS con 1 CPU, 2 GB de RAM, 20 GB de disco duro. O prezo da emisión é de ~3000 ₽ ao ano.
O meu corredor
Para o corredor levei CPU VDS 4, 4 GB de RAM, 50 GB SSD. Custou ~11000 ₽ e nunca me arrepintei.
Teño un total de 7 máquinas. 5 en aruba e 2 en ihor.
Así que temos un corredor. Agora imos configuralo.
Imos á máquina a través de SSH e instalamos java, git, maven, gnupg2.
Crea un directorio para a caché de Maven e asigna permisos de grupo runner
Podes omitir este punto se non pensas executar varios corredores nunha mesma máquina.
Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
Comprobamos que o corredor estea inscrito. Vaia ao sitio web gitlab.com -> deploy-project -> Configuración -> CI/CD -> Corredores -> Corredores específicos -> Corredores activados para este proxecto
Xeramos unha clave respondendo preguntas. Usei o meu propio nome e correo electrónico.
Asegúrese de especificar o contrasinal da chave. Os artefactos asinaranse con esta chave.
gpg --gen-key
Comprobando
gpg --list-keys -a
/home/gitlab-deployer/.gnupg/pubring.gpg
----------------------------------------
pub 4096R/00000000 2019-04-19
uid Petruha Petrov <[email protected]>
sub 4096R/11111111 2019-04-19
Cargando a nosa chave pública ao servidor de chaves
gpg --keyserver keys.gnupg.net --send-key 00000000
gpg: sending key 00000000 to hkp server keys.gnupg.net
Crea un directorio maven repositorio e ligazón á caché (non te equivoques)
Podes omitir este punto se non pensas executar varios corredores nunha mesma máquina.
Creamos un Dockerfile bastante sinxelo para executar tarefas de implementación coa versión necesaria de Java. A continuación móstrase un exemplo para o alpino.
FROM java:8u111-jdk-alpine
RUN apk add gnupg maven git --update-cache
--repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted &&
mkdir ~/.m2/
Engade o ficheiro .gitlab-ci.yml á raíz do proxecto de implantación
O script presenta dúas tarefas de implantación mutuamente excluíntes. Corredor específico ou corredor compartido respectivamente.
.gitlab-ci.yml
stages:
- deploy
Specific Runner:
extends: .java_deploy_template
# Задача будет выполняться на вашем shell-раннере
tags:
- deploy
Shared Runner:
extends: .java_deploy_template
# Задача будет выполняться на публичном docker-раннере
tags:
- docker
# Образ из раздела GitLab Runner -> Shared Runner -> Docker
image: registry.gitlab.com/group/deploy-project:latest
before_script:
# Импортируем GPG ключ
- printf "${GPG_SECRET_KEY}" | gpg --batch --import
# Сохраняем maven конфигурацию
- printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
- printf "${SETTINGS_XML}" > ~/.m2/settings.xml
.java_deploy_template:
stage: deploy
# Задача сработает по триггеру, если передана переменная DEPLOY со значением java
only:
variables:
- $DEPLOY == "java"
variables:
# отключаем клонирование текущего проекта
GIT_STRATEGY: none
script:
# Предоставляем возможность хранения пароля в незашифрованном виде
- git config --global credential.helper store
# Сохраняем временные креды пользователя gitlab-ci-token
# Токен работает для всех публичных проектов gitlab.com и для проектов группы
- echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
# Полностью чистим текущую директорию
- rm -rf .* *
# Клонируем проект который, будем деплоить в Sonatype Nexus
- git clone ${DEPLOY_CI_REPOSITORY_URL} .
# Переключаемся на нужный коммит
- git checkout ${DEPLOY_CI_COMMIT_SHA} -f
# Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
# В противном случае есть риск залить сырые артефакты в maven central
- >
for pom in $(find . -name pom.xml); do
if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
exit 1;
fi;
done
# Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
- >
if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
else
VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
if [[ "${VERSION}" == *-SNAPSHOT ]]; then
mvn versions:set -DnewVersion=${VERSION}
else
mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
fi
fi
# Запускаем задачу на сборку и деплой артефактов
- mvn clean deploy -DskipTests=true
Se tes un proxecto de varios módulos e non necesitas cargar un módulo específico ao repositorio, debes engadir nexus-staging-maven-plugin con bandeira skipNexusStagingDeployMojo
Despois da descarga, as versións de instantáneas/lanzamento están dispoñibles en repositorios de preparación
<repositories>
<repository>
<id>SonatypeNexus</id>
<url>https://oss.sonatype.org/content/groups/staging/</url>
<!-- Не надо указывать флаги snapshot/release для репозитория -->
</repository>
</repositories>
Máis vantaxes
Unha lista moi rica de obxectivos para traballar co repositorio de nexus (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
Comprobación automática de liberación para cargar a maven central
Cando se instala unha etiqueta, desenvólvese automaticamente a tarefa correspondente no proxecto de implementación para descargar a versión de lanzamento en nexus (exemplo).
A mellor parte é que o lanzamento próximo se activa automaticamente en Nexus.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1037".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 9.603 s]
[INFO] test-core .......................................... SUCCESS [ 3.419 s]
[INFO] Shields4J client ................................... SUCCESS [ 9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------
E se algo sae mal, a tarefa definitivamente fallará
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1038".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR]
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR]
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR] Rule "signature-staging" failures
[ERROR] * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 4.073 s]
[INFO] test-core .......................................... SUCCESS [ 2.788 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
Como resultado, só nos queda unha opción. Elimina esta versión ou publícaa.
Despois do lanzamento, despois dun tempo os artefactos estarán dentro
fóra de tema
Foi un descubrimento para min que Maven indexa outros repositorios públicos.
Tiven que engadir robots.txt porque indexaba o meu antigo repositorio.
Un proxecto de implantación separado no que pode implementar varias tarefas de CI para cargar artefactos a repositorios públicos para varias linguaxes de desenvolvemento.
O proxecto Deploy está illado das interferencias externas e só o poden cambiar os usuarios coas funcións de Propietario e Mantedor.
Un corredor específico separado cunha caché "quente" para executar só tarefas de implementación.
Publicación de versións de instantáneas/versión nun repositorio público.
Comprobación automática da versión de lanzamento para a preparación para a publicación en Maven Central.
Protección contra a publicación automática de versións "en bruto" en maven central.
Crea e publica versións de instantáneas "ao facer clic".
Un único repositorio para obter versións de instantáneas/versión.
Canalización xeral para construír/probar/publicar un proxecto java.
Configurar GitLab CI non é un tema tan complicado como parece a primeira vista. Basta con configurar CI de forma chave en man un par de veces, e agora estás lonxe de ser un afeccionado neste asunto. Ademais, a documentación de GitLab é moi redundante. Non teñas medo de dar o primeiro paso. A estrada aparece baixo os pasos da persoa que camiña (non lembro quen o dixo :)
Estarei encantado de recibir comentarios.
No seguinte artigo falarei sobre como configurar GitLab CI para executar tarefas con probas de integración de forma competitiva (executar os servizos en proba usando docker-compose) se só tes un shell runner.