ProHoster > Blog > administración > Configuración de GitLab CI para cargar un proyecto java en maven central
Configuración de GitLab CI para cargar un proyecto java en maven central
Este artículo está dirigido a desarrolladores de Java que necesitan publicar rápidamente sus productos en los repositorios centrales de Sonatype y/o Maven utilizando GitLab. En este artículo, hablaré sobre cómo configurar gitlab-runner, gitlab-ci y maven-plugin para resolver este problema.
Requisitos previos:
Almacenamiento seguro de claves mvn y GPG.
Ejecución segura de tareas de CI públicas.
Carga de artefactos (versión/instantánea) a repositorios públicos.
Verificación automática de las versiones de lanzamiento para su publicación en maven central.
Una solución general para cargar artefactos a un repositorio para múltiples proyectos.
Ya se describe una descripción detallada del mecanismo para publicar artefactos en Maven Central a través del servicio de alojamiento del repositorio OSS de Sonatype en este articulo usuario Googolplex, por lo que consultaré este artículo en los lugares correctos.
Preinscribirse en Sonatipo JIRA e iniciar un ticket para abrir el repositorio (para más detalles, lea la sección Crear un ticket Sonatype JIRA). Después de abrir el repositorio, el par de inicio de sesión/contraseña de JIRA (en adelante, la cuenta de Sonatype) se utilizará para cargar artefactos en Sonatype nexus.
Además, el proceso de generación de una clave GPG se describe de forma muy seca. Consulte la sección para obtener más detalles. Configurar GnuPG para firmar artefactos
Si está utilizando la consola Linux para generar una clave GPG (gnupg/gnupg2), entonces necesita instalar rng-tools para generar entropía. De lo contrario, la generación de claves puede llevar mucho tiempo.
Configurar un proyecto de implementación en GitLab
En primer lugar, debe crear y configurar un proyecto en el que se almacenará la canalización para la implementación de artefactos. Llamé a mi proyecto de manera simple y sin complicaciones. desplegar
Después de crear el repositorio, debe restringir el acceso para cambiar el repositorio.
Vaya al proyecto -> Configuración -> Repositorio -> Ramas protegidas. Eliminamos todas las reglas y agregamos una sola regla con comodín * con derecho a insertar y fusionar solo para usuarios con el rol de mantenedores. Esta regla funcionará para todos los usuarios tanto de este proyecto como del grupo al que pertenece este proyecto.
Si hay varios mantenedores, la mejor solución sería, en principio, restringir el acceso al proyecto.
Vaya al proyecto -> Configuración -> General -> Visibilidad, características del proyecto, permisos y configure la visibilidad del proyecto en Privado.
Tengo un proyecto en acceso público, ya que uso mi propio GitLab Runner y solo yo tengo acceso para modificar el repositorio. Bueno, en realidad no me conviene mostrar información privada en los registros públicos de tuberías.
Endurecer las reglas para cambiar el repositorio.
Vaya al proyecto -> Configuración -> Repositorio -> Reglas de inserción y establezca las banderas Restricción del confirmador. Verifique si el autor es un usuario de GitLab. También recomiendo configurar comprometerse a firmary establezca el indicador Rechazar confirmaciones sin firmar.
A continuación, debe configurar un activador para ejecutar tareas.
Vaya al proyecto -> Configuración -> CI/CD -> Activadores de canalización y cree un nuevo token de activación
Este token se puede agregar inmediatamente a la configuración general de variables para un grupo de proyectos.
Vaya al grupo -> Configuración -> CI/CD -> Variables y agregue una variable DEPLOY_TOKEN con token de activación en el valor.
Esta sección describe la configuración para ejecutar tareas durante la implementación utilizando el ejecutor nativo (específico) y público (compartido).
Corredor específico
Utilizo mis propios corredores porque, ante todo, es conveniente, rápido y económico.
Para runner recomiendo Linux VDS con 1 CPU, 2 GB de RAM, 20 GB de disco duro. Precio de emisión ~ 3000₽ por año.
mi corredor
Para el corredor tomé CPU VDS 4, 4 GB de RAM, 50 GB de SSD. Cuesta ~11000₽ y nunca me arrepiento.
Tengo un total de 7 máquinas. 5 en aruba y 2 en ihor.
Entonces, tenemos un corredor. Ahora lo configuraremos.
Nos dirigimos a la máquina vía SSH e instalamos java, git, maven, gnupg2.
Cree un directorio para el caché de Maven y asigne derechos de grupo runner
Puedes omitir este paso si no planeas ejecutar varios corredores en la misma máquina.
Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
Comprueba que el corredor está registrado. Vaya a gitlab.com -> implementar-proyecto -> Configuración -> CI/CD -> Corredores -> Corredores específicos -> Corredores activados para este proyecto
Generamos una clave respondiendo preguntas. Usé mi propio nombre y correo electrónico.
Asegúrese de especificar la contraseña de la clave. Los artefactos se firmarán con esta clave.
gpg --gen-key
Cheque
gpg --list-keys -a
/home/gitlab-deployer/.gnupg/pubring.gpg
----------------------------------------
pub 4096R/00000000 2019-04-19
uid Petruha Petrov <[email protected]>
sub 4096R/11111111 2019-04-19
Subiendo nuestra clave pública al servidor de claves
gpg --keyserver keys.gnupg.net --send-key 00000000
gpg: sending key 00000000 to hkp server keys.gnupg.net
Crear un directorio maven repositorio y vincular con el caché (no te equivoques)
Puedes omitir este paso si no planeas correr varios corredores en la misma máquina.
Creamos un Dockerfile bastante simple para ejecutar tareas durante la implementación con la versión deseada de Java. A continuación se muestra un ejemplo para alpino.
FROM java:8u111-jdk-alpine
RUN apk add gnupg maven git --update-cache
--repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted &&
mkdir ~/.m2/
Agregue el archivo .gitlab-ci.yml a la raíz del proyecto de implementación
El script presenta dos tareas de implementación mutuamente excluyentes. Runner específico o Runner compartido respectivamente.
.gitlab-ci.yml
stages:
- deploy
Specific Runner:
extends: .java_deploy_template
# Задача будет выполняться на вашем shell-раннере
tags:
- deploy
Shared Runner:
extends: .java_deploy_template
# Задача будет выполняться на публичном docker-раннере
tags:
- docker
# Образ из раздела GitLab Runner -> Shared Runner -> Docker
image: registry.gitlab.com/group/deploy-project:latest
before_script:
# Импортируем GPG ключ
- printf "${GPG_SECRET_KEY}" | gpg --batch --import
# Сохраняем maven конфигурацию
- printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
- printf "${SETTINGS_XML}" > ~/.m2/settings.xml
.java_deploy_template:
stage: deploy
# Задача сработает по триггеру, если передана переменная DEPLOY со значением java
only:
variables:
- $DEPLOY == "java"
variables:
# отключаем клонирование текущего проекта
GIT_STRATEGY: none
script:
# Предоставляем возможность хранения пароля в незашифрованном виде
- git config --global credential.helper store
# Сохраняем временные креды пользователя gitlab-ci-token
# Токен работает для всех публичных проектов gitlab.com и для проектов группы
- echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
# Полностью чистим текущую директорию
- rm -rf .* *
# Клонируем проект который, будем деплоить в Sonatype Nexus
- git clone ${DEPLOY_CI_REPOSITORY_URL} .
# Переключаемся на нужный коммит
- git checkout ${DEPLOY_CI_COMMIT_SHA} -f
# Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
# В противном случае есть риск залить сырые артефакты в maven central
- >
for pom in $(find . -name pom.xml); do
if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
exit 1;
fi;
done
# Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
- >
if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
else
VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
if [[ "${VERSION}" == *-SNAPSHOT ]]; then
mvn versions:set -DnewVersion=${VERSION}
else
mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
fi
fi
# Запускаем задачу на сборку и деплой артефактов
- mvn clean deploy -DskipTests=true
Si tiene un proyecto de varios módulos y no necesita cargar un módulo específico al repositorio, debe agregarlo al pom.xml de este módulo. nexus-staging-maven-plugin con bandera skipNexusStagingDeployMojo
Después de cargar la instantánea/las versiones de lanzamiento están disponibles en repositorios provisionales
<repositories>
<repository>
<id>SonatypeNexus</id>
<url>https://oss.sonatype.org/content/groups/staging/</url>
<!-- Не надо указывать флаги snapshot/release для репозитория -->
</repository>
</repositories>
Más ventajas
Una lista muy rica de objetivos para trabajar con el repositorio nexus (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
Comprobación de versión automática para descarga en maven central
Cuando se establece la etiqueta, la tarea correspondiente en el proyecto de implementación se activa automáticamente para cargar la versión de lanzamiento en Nexus (ejemplo).
La mejor parte es que la liberación cercana se activa automáticamente en el nexo.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1037".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 9.603 s]
[INFO] test-core .......................................... SUCCESS [ 3.419 s]
[INFO] Shields4J client ................................... SUCCESS [ 9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------
Y si algo salió mal, la tarea fracasará.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1038".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR]
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR]
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR] Rule "signature-staging" failures
[ERROR] * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 4.073 s]
[INFO] test-core .......................................... SUCCESS [ 2.788 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
Como resultado, sólo nos queda una opción. O eliminar esta versión o publicarla.
Después del lanzamiento, después de algún tiempo, los artefactos estarán en
offtop
Fue una revelación para mí que Maven indexe otros repositorios públicos.
Tuve que subir robots.txt porque indexaba mi antiguo repositorio.
Un proyecto de implementación independiente en el que puede implementar varias tareas de CI para cargar artefactos en repositorios públicos para varios lenguajes de desarrollo.
El proyecto de implementación está aislado de interferencias externas y solo pueden modificarlo usuarios con los roles de Propietario y Mantenedor.
Un ejecutor específico independiente con una caché "activa" para ejecutar únicamente tareas de implementación.
Publicación de versiones instantáneas/de lanzamiento en un repositorio público.
Comprobación automática de que la versión de lanzamiento esté lista para su publicación en maven central.
Protección contra la publicación automática de versiones “sin procesar” en maven central.
Cree y publique versiones instantáneas "al hacer clic".
Repositorio único para obtener versiones instantáneas/de lanzamiento.
Canal general para construir/probar/publicar un proyecto Java.
Configurar GitLab CI no es un tema tan complicado como parece a primera vista. Basta con configurar CI llave en mano un par de veces, y ahora estás lejos de ser un aficionado en este asunto. Además, la documentación de GitLab es muy redundante. No tengas miedo de dar el primer paso. El camino aparece bajo los pasos de la persona que camina (no recuerdo quién lo dijo :)
Estaré encantado de recibir comentarios.
En el siguiente artículo, le mostraré cómo configurar GitLab CI para ejecutar tareas de prueba de integración de manera competitiva (ejecutando servicios de prueba con docker-compose) si solo tiene un ejecutor de shell.