Дадзены артыкул разлічаны на java распрацоўнікаў, у якіх паўстала запатрабаванне хутка публікаваць свае прадукты ў рэпазітарах sonatype і/ці maven central з выкарыстаннем GitLab. У дадзеным артыкуле я раскажу пра наладу gitlab-runner, gitlab-ci і maven-plugin для рашэння дадзенай задачы.
перадумовы:
- Бяспечнае захоўванне mvn і GPG ключоў.
- Бяспечнае выкананне публічных CI задач.
- Загрузка артэфактаў (release / snapshot) у публічныя рэпазітары.
- Аўтаматычная праверка release-версій для публікацыі ў maven central.
- Агульнае рашэнне па загрузцы артэфактаў у рэпазітар для некалькіх праектаў.
- Прастата і зручнасць выкарыстання.
Змест
Агульная інфармацыя
- Падрабязнае апісанне механізму публікацыі артэфактаў у Maven Central праз Sonatype OSS Repository Hosting Service ужо апісана ў карыстальнікам , таму ў патрэбных месцах буду спасылацца на дадзены артыкул.
- Папярэдне рэгіструемся ў і заводзім тыкет на адкрыццё рэпазітара (больш падрабязна чытаць раздзел ). Пасля адкрыцця рэпазітара пара лагін/пароль ад JIRA (далей уліковы запіс Sonatype) будзе выкарыстоўвацца для загрузкі артэфактаў у Sonatype nexus.
- Далей працэс генерацыі GPG ключа апісаны вельмі суха. Больш падрабязна глядзець раздзел
- Калі вы выкарыстоўваеце Linux кансоль для генерацыі GPG ключа (gnupg/gnupg2), тое неабходна ўсталяваць для генерацыі энтрапіі. У адваротным выпадку генерацыя ключа можа праходзіць вельмі доўга.
- Сэрвісы захоўвання публічных GPG ключоў
Настройка deploy-праекта ў GitLab
- У першую чаргу неабходна стварыць і наладзіць праект, у якім будзе захоўвацца pipeline, для дэплою артэфактаў. Свой праект я назваў проста і немудрагеліста
- Пасля стварэння рэпазітара, неабходна абмежаваць доступ на змену рэпазітара.
Пераходзім у праект -> Settings -> Repository -> Protected Branches. Выдаляем усе правілы і дадаем адзінае правіла з Wildcard* з правам на push і merge толькі для карыстачоў з роляй Maintainers. Дадзенае правіла будзе працаваць для ўсіх карыстальнікаў як дадзенага праекту, так і групы ў якую дадзены праект уваходзіць.
- Калі мэйнтэйнераў некалькі, то лепшым рашэннем будзе абмежаваць доступ да праекту ў прынцыпе.
Пераходзім у праект -> Settings -> General -> Visibility, project features, permissions і выстаўляем Project visibility у значэнне прыватны.
У мяне праект у публічным доступе, бо я выкарыстоўваю ўласны GitLab Runner і доступ на змену рэпазітара ёсць толькі ў мяне. Ды і ўласна не ў маіх інтарэсах свяціць прыватную інфармацыю ў публічных pipeline-логах. - Узмацненне жорсткасці правіл на змену рэпазітара
Пераходзім у праект -> Settings -> Repository -> Push Rules і ўсталёўваны сцягі Committer restriction, Check whether author is a GitLab user. Таксама рэкамендую наладзіць , і ўсталяваць сцяг Reject unsigned commits. - Далей патрабуецца наладзіць трыгер для запуску задач
Пераходзім у праект -> Settings -> CI / CD -> Pipeline triggers і ствараем новы trigger-token
Дадзены токен можна адразу дадаць у агульную канфігурацыю зменных для групы праектаў.
Пераходзім у групу -> Settings -> CI / CD -> Variables і дадаем зменнуюDEPLOY_TOKENз trigger-token у значэнні.
GitLab Runner
У дадзеным раздзеле апісана канфігурацыя для запуску задач на deploy з выкарыстаннем уласнага (Specific) і публічнага (Shared) раннера.
Specific Runner
Я выкарыстоўваю ўласныя раннеры, бо ў першую чаргу гэта зручна, хутка, танна.
Для раннера рэкамендую лінуксавую VDS з 1 CPU, 2 GB RAM, 20 GB HDD. Кошт пытання ~3000₽ у год.
Мой раннер
Для раннера я ўзяў VDS 4 CPU, 4 GB RAM, 50 GB SSD. Абышлася ~11000₽ і ні разу не пашкадаваў.
У мяне ў агульнай складанасці 7 машынак. 5 на aruba і 2 на ihor.
Такім чынам, у нас ёсць раннер. Цяпер мы яго будзем настройваць.
Заходзім на машынку па SSH і ўсталёўваны java, git, maven, gnupg2.
Усталёўваны gitlab runner
- Ствараем новы гурт
runnersudo groupadd runner - Ствараем дырэкторыю для maven кэша і наважваем правы групы
runner
Гэты пункт можна прапусціць, калі вы не плануеце запускаць некалькі раннераў на адной машыне.mkdir -p /usr/cache/.m2/repository chown -R :runner /usr/cache chmod -R 770 /usr/cache - Ствараем карыстальніка
gitlab-deployerі дадаем у групуrunneruseradd -m -d /home/gitlab-deployer gitlab-deployer usermod -a -G runner gitlab-deployer - Дадаем у файл
/etc/ssh/sshd_configнаступны радокAllowUsers root@* [email protected] - Перазагружаем
sshdsystemctl restart sshd - Усталёўваны пароль для карыстача
gitlab-deployer(можна просты, бо дзейнічае абмежаванне для localhost)passwd gitlab-deployer - Усталёўваны GitLab Runner (Linux x86-64)
sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64 sudo chmod +x /usr/local/bin/gitlab-runner ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner - Пераходзім на сайт gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners і які капіюецца registration token
Скрын
- Рэгіструем раннер
gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml
працэс
Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!- Правяраем, што раннер зарэгістраваны. Пераходзім на сайт gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners activated for this project
Скрын
- Дадаем асобны сэрвіс
/etc/systemd/system/gitlab-deployer.service[Unit] Description=GitLab Deploy Runner After=syslog.target network.target ConditionFileIsExecutable=/usr/local/bin/gitlab-runner [Service] StartLimitInterval=5 StartLimitBurst=10 ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer" Restart=always RestartSec=120 [Install] WantedBy=multi-user.target - Запускаем сэрвіс.
systemctl enable gitlab-deployer.service systemctl start gitlab-deployer.service systemctl status gitlab-deployer.service - Правяраем, што раннэр запушчаны.
Прыклад
Генерацыя GPG ключоў
-
З гэтай жа машынкі заходзім па ssh пад карыстачом
gitlab-deployer(гэта важна для генерацыі GPG ключа)ssh [email protected] -
Генераваны ключ адказваючы на пытанні. Я выкарыстоўваў уласныя імя і пошту.
Абавязкова паказваем пароль для ключа. Гэтым ключом будуць падпісвацца артэфакты.gpg --gen-key -
правяраем
gpg --list-keys -a /home/gitlab-deployer/.gnupg/pubring.gpg ---------------------------------------- pub 4096R/00000000 2019-04-19 uid Petruha Petrov <[email protected]> sub 4096R/11111111 2019-04-19 -
Загружаем наш публічны ключ на сервер ключоў
gpg --keyserver keys.gnupg.net --send-key 00000000 gpg: sending key 00000000 to hkp server keys.gnupg.net
Настройка Maven
- Заходзім пад карыстальнікам
gitlab-deployersu gitlab-deployer - Ствараем дырэторыю maven сховішча і лінцуем з кэшам (не памыліцеся)
Гэты пункт можна прапусціць, калі вы не плануеце запуску некалькі раннераў на адной машыне.mkdir -p ~/.m2/repository ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository - Ствараем майстар ключ
mvn --encrypt-master-password password {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=} - Ствараем файл ~/.m2/settings-security.xml
<settingsSecurity> <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master> </settingsSecurity> - Шыфруем пароль ад уліковага запісу Sonatype
mvn --encrypt-password SONATYPE_PASSWORD {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J} - Ствараем файл ~/.m2/settings.xml
<settings> <profiles> <profile> <id>env</id> <activation> <activeByDefault>true</activeByDefault> </activation> <properties> <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase> </properties> </profile> </profiles> <servers> <server> <id>sonatype</id> <username>SONATYPE_USERNAME</username> <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password> </server> </servers> </settings>
дзе,
GPG_SECRET_KEY_PASSPHRASE - пароль ад GPG ключа
SONATYPE_USERNAME — лагін уліковага запісу sonatype
На гэтым настройка раннера завершана, можна пераходзіць да падзелу
Shared Runner
Генерацыя GPG ключоў
-
У першую чаргу неабходна стварыць GPG ключ. Для гэтага ўсталёўваны gnupg.
yum install -y gnupg -
Генераваны ключ адказваючы на пытанні. Я выкарыстоўваў уласныя імя і пошту. Абавязкова паказваем пароль для ключа.
gpg --gen-key -
Выводзім інфармацыю па ключы
gpg --list-keys -a pub rsa3072 2019-04-24 [SC] [expires: 2021-04-23] 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 uid [ultimate] tttemp <[email protected]> sub rsa3072 2019-04-24 [E] [expires: none] -
Загружаем наш публічны ключ на сервер ключоў
gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net -
Атрымліваем прыватны ключ
gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 -----BEGIN PGP PRIVATE KEY BLOCK----- lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5 ... =2Wd2 -----END PGP PRIVATE KEY BLOCK----- -
Пераходзім налады праекта -> Settings -> CI / CD -> Variables і захоўваем прыватны ключ у зменнай
GPG_SECRET_KEY
Настройка Maven
- Ствараем майстар ключ
mvn --encrypt-master-password password {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=} - Пераходзім налады праекта -> Settings -> CI / CD -> Variables і захоўваем у зменнай
SETTINGS_SECURITY_XMLнаступныя радкі:<settingsSecurity> <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master> </settingsSecurity> - Шыфруем пароль ад уліковага запісу Sonatype
mvn --encrypt-password SONATYPE_PASSWORD {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J} - Пераходзім налады праекта -> Settings -> CI / CD -> Variables і захоўваем у зменнай
SETTINGS_XMLнаступныя радкі:<settings> <profiles> <profile> <id>env</id> <activation> <activeByDefault>true</activeByDefault> </activation> <properties> <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase> </properties> </profile> </profiles> <servers> <server> <id>sonatype</id> <username>sonatype_username</username> <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password> </server> </servers> </settings>
дзе,
GPG_SECRET_KEY_PASSPHRASE - пароль ад GPG ключа
SONATYPE_USERNAME — лагін уліковага запісу sonatype
Deploy docker image
-
Ствараем дастаткова просты Dockerfile для запуску задач на deploy з патрэбнай версіяй Java. Ніжэй прадстаўлены прыклад для Alpine.
FROM java:8u111-jdk-alpine RUN apk add gnupg maven git --update-cache --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && mkdir ~/.m2/ -
Збіраны кантэйнер для вашага праекта
docker build -t registry.gitlab.com/group/deploy . -
Аўтэнтыфікуемся і загружаем кантэйнер у registry.
docker login -u USER -p PASSWORD registry.gitlab.com docker push registry.gitlab.com/group/deploy
GitLab CI
Deploy project
Дадаем у корань deploy-праекта файл .gitlab-ci.yml
У скрыпце прадстаўлена дзве ўзаемавыключальныя задачы на дэплой. Specific Runner ці Shared Runner адпаведна.
.gitlab-ci.yml
stages:
- deploy
Specific Runner:
extends: .java_deploy_template
# Задача будет выполняться на вашем shell-раннере
tags:
- deploy
Shared Runner:
extends: .java_deploy_template
# Задача будет выполняться на публичном docker-раннере
tags:
- docker
# Образ из раздела GitLab Runner -> Shared Runner -> Docker
image: registry.gitlab.com/group/deploy-project:latest
before_script:
# Импортируем GPG ключ
- printf "${GPG_SECRET_KEY}" | gpg --batch --import
# Сохраняем maven конфигурацию
- printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
- printf "${SETTINGS_XML}" > ~/.m2/settings.xml
.java_deploy_template:
stage: deploy
# Задача сработает по триггеру, если передана переменная DEPLOY со значением java
only:
variables:
- $DEPLOY == "java"
variables:
# отключаем клонирование текущего проекта
GIT_STRATEGY: none
script:
# Предоставляем возможность хранения пароля в незашифрованном виде
- git config --global credential.helper store
# Сохраняем временные креды пользователя gitlab-ci-token
# Токен работает для всех публичных проектов gitlab.com и для проектов группы
- echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
# Полностью чистим текущую директорию
- rm -rf .* *
# Клонируем проект который, будем деплоить в Sonatype Nexus
- git clone ${DEPLOY_CI_REPOSITORY_URL} .
# Переключаемся на нужный коммит
- git checkout ${DEPLOY_CI_COMMIT_SHA} -f
# Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
# В противном случае есть риск залить сырые артефакты в maven central
- >
for pom in $(find . -name pom.xml); do
if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
exit 1;
fi;
done
# Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
- >
if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
else
VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
if [[ "${VERSION}" == *-SNAPSHOT ]]; then
mvn versions:set -DnewVersion=${VERSION}
else
mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
fi
fi
# Запускаем задачу на сборку и деплой артефактов
- mvn clean deploy -DskipTests=true
Java project
У java праектах якія мяркуецца загружаць у публічныя рэпазітары неабходна дадаць 2 кроку на загрузку Release і Snapshot версій.
.gitlab-ci.yml
stages:
- build
- test
- verify
- deploy
<...>
Release:
extends: .trigger_deploy
# Запускать задачу только пo тегу.
only:
- tags
Snapshot:
extends: .trigger_deploy
# Запускаем задачу на публикацию SNAPSHOT версии вручную
when: manual
# Не запускать задачу, если проставлен тег.
except:
- tags
.trigger_deploy:
stage: deploy
variables:
# Отключаем клонирование текущего проекта
GIT_STRATEGY: none
# Ссылка на триггер deploy-задачи
URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
# Переменные deploy-задачи
POST_DATA: "
token=${DEPLOY_TOKEN}&
ref=master&
variables[DEPLOY]=${DEPLOY}&
variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
"
script:
# Не использую cURL, так как с флагами --fail --show-error
# он не выводит тело ответа, если HTTP код 400 и более
- wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}У дадзеным рашэнні я пайшоў крыху далей і вырашыў выкарыстоўваць адзін CI шаблон для java праектаў.
Больш падрабязна
Я стварыў асобны праект у якім размясціў шаблон CI для java праектаў .
common.yml
stages:
- build
- test
- verify
- deploy
variables:
SONAR_ARGS: "
-Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA}
-Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME}
"
.build_java_project:
stage: build
tags:
- touchbit-shell
variables:
SKIP_TEST: "false"
script:
- mvn clean
- mvn package -DskipTests=${SKIP_TEST}
artifacts:
when: always
expire_in: 30 day
paths:
- "*/target/reports"
.build_sphinx_doc:
stage: build
tags:
- touchbit-shell
variables:
DOCKERFILE: .indirect/docs/Dockerfile
script:
- docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .
.junit_module_test_run:
stage: test
tags:
- touchbit-shell
variables:
MODULE: ""
script:
- cd ${MODULE}
- mvn test
artifacts:
when: always
expire_in: 30 day
paths:
- "*/target/reports"
.junit_test_run:
stage: test
tags:
- touchbit-shell
script:
- mvn test
artifacts:
when: always
expire_in: 30 day
paths:
- "*/target/reports"
.sonar_review:
stage: verify
tags:
- touchbit-shell
dependencies: []
script:
- >
if [ "$CI_BUILD_REF_NAME" == "master" ]; then
mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
else
mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
fi
.trigger_deploy:
stage: deploy
tags:
- touchbit-shell
variables:
URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
POST_DATA: "
token=${DEPLOY_TOKEN}&
ref=master&
variables[DEPLOY]=${DEPLOY}&
variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
"
script:
- wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}
.trigger_release_deploy:
extends: .trigger_deploy
only:
- tags
.trigger_snapshot_deploy:
extends: .trigger_deploy
when: manual
except:
- tags
У выніку ў саміх java праектах .gitlab-ci.yml выглядае вельмі кампактна і не шматслоўна.
.gitlab-ci.yml
include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml
Shields4J:
extends: .build_java_project
Sphinx doc:
extends: .build_sphinx_doc
variables:
DOCKERFILE: .docs/Dockerfile
Sonar review:
extends: .sonar_review
dependencies:
- Shields4J
Release:
extends: .trigger_release_deploy
Snapshot:
extends: .trigger_snapshot_deploy
Канфігурацыя pom.xml
Вельмі дэталёва дадзеная тэма апісана в , таму я апішу некаторыя нюансы выкарыстання плагінаў. Гэтак жа я апішу як лёгка і нязмушана можна выкарыстоўваць nexus-staging-maven-plugin, калі вы не хочаце ці не можаце выкарыстоўваць org.sonatype.oss:oss-parent у якасці аднаго з бацькоў для свайго праекта.
maven-install-plugin
Усталёўвае модулі ў лакальны рэпазітар.
Вельмі карысны для лакальнай праверкі рашэнняў у іншых праектах, а таксама кантрольнай сумай.
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-install-plugin</artifactId>
<executions>
<execution>
<id>install-project</id>
<!-- Если у вас многомодульный проект с деплоем родительского помика -->
<phase>install</phase>
<!-- Явно указываем файлы для локальной установки -->
<configuration>
<file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
<pomFile>dependency-reduced-pom.xml</pomFile>
<!-- Принудительное обновление метаданных проекта -->
<updateReleaseInfo>true</updateReleaseInfo>
<!-- Контрольные суммы для проверки целостности -->
<createChecksum>true</createChecksum>
</configuration>
</execution>
</executions>
</plugin>
maven-javadoc-plugin
Генерацыя javadoc для праекту.
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-javadoc-plugin</artifactId>
<executions>
<execution>
<goals>
<goal>jar</goal>
</goals>
<!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
<phase>prepare-package</phase>
<configuration>
<!-- Очень помогает в публичных проектах -->
<failOnError>true</failOnError>
<failOnWarnings>true</failOnWarnings>
<!-- Убирает ошибку поиска документации в target директории -->
<detectOfflineLinks>false</detectOfflineLinks>
</configuration>
</execution>
</executions>
</plugin>Калі ў вас ёсць модуль, які не змяшчае java (напрыклад толькі рэсурсы)
Ці вы не жадаеце ў прынцыпе генераваць javadoc, то ў дапамогу maven-jar-plugin
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<executions>
<execution>
<id>empty-javadoc-jar</id>
<phase>generate-resources</phase>
<goals>
<goal>jar</goal>
</goals>
<configuration>
<classifier>javadoc</classifier>
<classesDirectory>${basedir}/javadoc</classesDirectory>
</configuration>
</execution>
</executions>
</plugin>
maven-gpg-plugin
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-gpg-plugin</artifactId>
<executions>
<execution>
<id>sign-artifacts</id>
<!-- Сборка будет падать, если отсутствует GPG ключ -->
<!-- Подписываем артефакты только на фазе deploy -->
<phase>deploy</phase>
<goals>
<goal>sign</goal>
</goals>
</execution>
</executions>
</plugin>
nexus-staging-maven-plugin
Канфігурацыя:
<project>
<!-- ... -->
<build>
<plugins>
<!-- ... -->
<plugin>
<groupId>org.sonatype.plugins</groupId>
<artifactId>nexus-staging-maven-plugin</artifactId>
</plugin>
</plugins>
<pluginManagement>
<plugins>
<plugin>
<groupId>org.sonatype.plugins</groupId>
<artifactId>nexus-staging-maven-plugin</artifactId>
<extensions>true</extensions>
<configuration>
<serverId>sonatype</serverId>
<nexusUrl>https://oss.sonatype.org/</nexusUrl>
<!-- Обновляем метаданные, чтобы пометить артефакт как release -->
<!-- Не влияет на snapshot версии -->
<updateReleaseInfo>true</updateReleaseInfo>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-deploy-plugin</artifactId>
<configuration>
<!-- Отключаем плагин -->
<skip>true</skip>
</configuration>
</plugin>
</plugins>
</pluginManagement>
</build>
<distributionManagement>
<snapshotRepository>
<id>sonatype</id>
<name>Nexus Snapshot Repository</name>
<url>https://oss.sonatype.org/content/repositories/snapshots/</url>
</snapshotRepository>
<repository>
<id>sonatype</id>
<name>Nexus Release Repository</name>
<url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
</repository>
</distributionManagement>
</project>Калі ў вас шматмодульны праект, і вам няма неабходнасці загружаць пэўны модуль у рэпазітар, то ў pom.xml дадзенага модуля неабходна дадаць nexus-staging-maven-plugin са сцягам skipNexusStagingDeployMojo
<build>
<plugins>
<plugin>
<groupId>org.sonatype.plugins</groupId>
<artifactId>nexus-staging-maven-plugin</artifactId>
<configuration>
<skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
</configuration>
</plugin>
</plugins>
</build>Пасля загрузкі snapshot/release версіі даступныя ў
<repositories>
<repository>
<id>SonatypeNexus</id>
<url>https://oss.sonatype.org/content/groups/staging/</url>
<!-- Не надо указывать флаги snapshot/release для репозитория -->
</repository>
</repositories>Яшчэ плюсы
- Вельмі багаты спіс мэт для працы з nexus рэпазітаром (
mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin). - Аўтаматычная праверка рэлізу на магчымасць загрузкі ў maven central
Вынік
Публікацыя SNAPSHOT версіі
Пры зборцы праекту прысутнічае магчымасць ручнога запуску задачы на загрузку SNAPSHOT версіі ў nexus
Пры запуску дадзенай задачы трыгерыцца адпаведная задача ў праекце deploy ().
Падрэзаны лог
Running with gitlab-runner 11.10.0 (3001a600)
on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO] ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO]
[INFO] Shields4J [pom]
[INFO] test-core [jar]
[INFO] Shields4J client [jar]
[INFO] TestNG listener [jar]
[INFO]
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0 [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO]
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO] Updating project org.touchbit.shields4j:shields4j-parent
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]
[INFO] Processing org.touchbit.shields4j:client
[INFO] Updating parent org.touchbit.shields4j:shields4j-parent
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] Updating dependency org.touchbit.shields4j:test-core
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]
[INFO] Processing org.touchbit.shields4j:test-core
[INFO] Updating parent org.touchbit.shields4j:shields4j-parent
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]
[INFO] Processing org.touchbit.shields4j:testng
[INFO] Updating parent org.touchbit.shields4j:shields4j-parent
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] Updating dependency org.touchbit.shields4j:client
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] Updating dependency org.touchbit.shields4j:test-core
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO] ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO]
[INFO] Shields4J [pom]
[INFO] test-core [jar]
[INFO] Shields4J client [jar]
[INFO] TestNG listener [jar]
[INFO]
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO] * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [ 2.375 s]
[INFO] test-core .......................................... SUCCESS [ 3.929 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------У выніку ў nexus загружана версія .
Усе snapshot версі можна выдаліць з рэпазітара на сайце пад сваім уліковым запісам.
Публікацыя release версіі
Пры ўсталёўцы тэга, аўтаматычна трыгерыцца адпаведная задача ў праекце deploy на загрузку рэлізнай версіі ў nexus ().
Самае прыемнае, што аўтаматычна спрацоўвае close release у nexus.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1037".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 9.603 s]
[INFO] test-core .......................................... SUCCESS [ 3.419 s]
[INFO] Shields4J client ................................... SUCCESS [ 9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------І калі нешта пайшло не так, то задача абавязкова заваліцца.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1038".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR]
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR]
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR] Rule "signature-staging" failures
[ERROR] * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 4.073 s]
[INFO] test-core .......................................... SUCCESS [ 2.788 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------У выніку нам застаецца адзіны выбар. Або выдаліць дадзеную версію ці апублікаваць.
Пасля рэлізу, праз некаторы час артэфакты апынуцца ў
афтоп
Для мяне было адкрыццём, што maven індэксуе іншыя публічныя рэпазітары.
Прыйшлося падкінуць robots.txt, бо ён праіндэксаваў мой стары рэпазітар.
Заключэнне
Што мы маем
- Асобны deploy-праект у якім можна рэалізаваць некалькі CI задач на загрузку артэфактаў у публічныя рэпазітары для розных моў распрацоўкі.
- Deploy-праект ізаляваны ад старонняга ўмяшання і можа быць зменены толькі карыстальнікамі з роляй Owner і Maintainer.
- Асобны Specific Runner з "гарачым" кэшам для запуску толькі deploy задач.
- Публікацыя snapshot/release версій у публічным рэпазітары.
- Аўтаматычная праверка release версіі на гатоўнасць да публікацыі ў maven central.
- Абарона ад аўтаматычнай публікацыі "волкіх" версій у maven central.
- Зборка і публікацыя snapshot версій "па кліку".
- Адзіны рэпазітар для атрымання snapshot/release версій.
- Агульны пайплайн на зборку/тэставанне/публікацыю java праекту.
Настройка GitLab CI не такая складаная тэма як здаецца на першы погляд. Дастаткова пару разоў наладзіць CI "пад ключ" і вось, ты ўжо далёка не дылетант у гэтай справе. Тым больш GitLab дакументацыя вельмі залішняя. Не бойцеся рабіць першы крок. Дарога ўзнікае пад крокамі ідучага (не памятаю хто сказаў 🙂).
Буду рады фідбэку.
У наступным артыкуле раскажу пра тое, як наладзіць GitLab CI для канкурэнтнага запуску задач з інтэграцыйнымі тэстамі (з запускам тэстоўваных сэрвісаў пры дапамозе docker-compose), калі ў вас ёсць толькі адзін shell раннер.
Крыніца: habr.com