Энэхүү нийтлэл нь GitLab ашиглан sonatype болон/эсвэл maven төв репозиторуудад бүтээгдэхүүнээ хурдан нийтлэх шаардлагатай java хөгжүүлэгчдэд зориулагдсан болно. Энэ нийтлэлд би энэ асуудлыг шийдэхийн тулд gitlab-runner, gitlab-ci, maven-plugin-ийг тохируулах талаар ярих болно.
Урьдчилсан нөхцөл:
- Mvn болон GPG түлхүүрүүдийг найдвартай хадгалах.
- Нийтийн CI даалгавруудыг найдвартай гүйцэтгэх.
- Олдворуудыг (хувилбар / хормын хувилбар) олон нийтийн хадгалах газарт байршуулж байна.
- maven center-д нийтлэх хувилбаруудыг автоматаар шалгана.
- Олон төслийн репозитор руу олдвор байршуулах ерөнхий шийдэл.
- Энгийн байдал, хэрэглэхэд хялбар байдал.
Агуулга
Ерөнхий мэдээлэл
- Sonatype OSS Repository Hosting үйлчилгээгээр дамжуулан Maven Central-д олдворуудыг нийтлэх механизмын нарийвчилсан тайлбарыг аль хэдийн тайлбарласан болно. хэрэглэгч , тиймээс би энэ нийтлэлийг зөв газарт нь авч үзэх болно.
- хаягаар урьдчилан бүртгүүлнэ үү мөн хадгалах газрыг нээх тасалбарыг эхлүүлнэ үү (дэлгэрэнгүй мэдээллийг хэсгийг уншина уу ). Хадгалах газрыг нээсний дараа JIRA нэвтрэх/нууц үгийн хослолыг (цаашид Sonatype данс гэх) Sonatype nexus-д олдворуудыг байршуулахад ашиглана.
- Цаашилбал, GPG түлхүүр үүсгэх үйл явцыг маш хуурай тайлбарласан болно. Дэлгэрэнгүй мэдээллийг хэсгээс үзнэ үү.
- Хэрэв та GPG түлхүүр (gnupg/gnupg2) үүсгэхийн тулд Линукс консол ашиглаж байгаа бол суулгах хэрэгтэй. энтропи үүсгэх. Үгүй бол түлхүүр үүсгэх нь маш удаан үргэлжлэх болно.
- Хадгалах үйлчилгээ олон нийтийн GPG түлхүүрүүд
GitLab дээр байршуулах төслийг тохируулж байна
- Юуны өмнө та олдворуудыг байрлуулахын тулд дамжуулах хоолойг хадгалах төслийг үүсгэж, тохируулах хэрэгтэй. Би төслөө энгийн бөгөөд төвөггүй гэж нэрлэсэн -
- Хадгалах газрыг үүсгэсний дараа та репозиторыг өөрчлөхийн тулд хандалтыг хязгаарлах хэрэгтэй.
Төсөл -> Тохиргоо -> Репозитор -> Хамгаалагдсан салбар руу очно уу. Бид бүх дүрмийг устгаж, Wildcard *-тай нэг дүрмийг зөвхөн Үйлчилгээний үүрэг бүхий хэрэглэгчдэд түлхэж, нэгтгэх эрхтэй нэмдэг. Энэ дүрэм нь энэ төслийн бүх хэрэглэгчид болон энэ төслийн харьяалагддаг бүлэгт хамаарна.
- Хэрэв хэд хэдэн засварлагч байгаа бол зарчмын хувьд төсөлд нэвтрэх эрхийг хязгаарлах нь хамгийн сайн шийдэл байх болно.
Төсөл -> Тохиргоо -> Ерөнхий -> Харагдах байдал, төслийн онцлог, зөвшөөрөл рүү очоод Төслийн харагдах байдлыг тохируулна уу. Хувийн.
Би өөрийн GitLab Runner ашигладаг бөгөөд зөвхөн би репозиторыг өөрчлөх эрхтэй тул олон нийтэд нээлттэй төсөлтэй. Үнэн хэрэгтээ нийтийн дамжуулах хоолойн бүртгэлд хувийн мэдээллийг харуулах нь миний ашиг сонирхолд нийцэхгүй байна. - Хадгалах газрыг өөрчлөх дүрмийг чангатгах
Төсөл -> Тохиргоо -> Репозитор -> Түлхэх дүрмүүд рүү очоод Committer хязгаарлалтын тугуудыг тохируулна уу, Зохиогч нь GitLab хэрэглэгч мөн эсэхийг шалгана уу. Би бас тохируулахыг зөвлөж байна , мөн Reject unsigned commits тугийг тохируулна уу. - Дараа нь та даалгавруудыг ажиллуулахын тулд триггерийг тохируулах хэрэгтэй
Төсөл -> Тохиргоо -> CI / CD -> Дамжуулах хоолойн триггер рүү очоод шинэ триггер токен үүсгэнэ үү.
Энэ токеныг төслийн бүлгийн хувьсагчийн ерөнхий тохиргоонд нэн даруй нэмж болно.
-> Settings -> CI / CD -> Variables бүлэгт очиж хувьсагч нэмнэDEPLOY_TOKENутга дахь триггер-жетонтой.
GitLab Runner
Энэ хэсэг нь үндсэн (Тодорхой) болон нийтийн (Хуваалцсан) гүйгчийг ашиглан байршуулахдаа даалгавруудыг гүйцэтгэх тохиргоог тайлбарладаг.
Тусгай гүйгч
Би өөрийн гүйгчийг ашигладаг, учир нь энэ нь юуны түрүүнд тохиромжтой, хурдан, хямд юм.
Би гүйгчдэд 1 CPU, 2 GB RAM, 20 GB HDD бүхий Linux VDS-ийг санал болгож байна. Гаргах үнэ ~ жилд 3000₽.
Миний гүйгч
Гүйгчийн хувьд би VDS 4 CPU, 4 GB RAM, 50 GB SSD авсан. Энэ нь ~11000₽ үнэтэй бөгөөд хэзээ ч харамсдаггүй.
Би нийт 7 машинтай. Аруба дээр 5, Ихор дээр 2.
Тиймээс бид гүйгчтэй болсон. Одоо бид үүнийг тохируулах болно.
Бид SSH-ээр машин руу орж java, git, maven, gnupg2 суулгана.
Gitlab runner суулгаж байна
- Шинэ бүлэг үүсгэх
runnersudo groupadd runner - maven кэшэд зориулсан лавлах үүсгээд бүлгийн эрхийг хуваарилна
runner
Хэрэв та нэг машин дээр олон гүйгч ажиллуулахаар төлөвлөөгүй бол энэ алхамыг алгасаж болно.mkdir -p /usr/cache/.m2/repository chown -R :runner /usr/cache chmod -R 770 /usr/cache - Хэрэглэгч үүсгэх
gitlab-deployerмөн бүлэгт нэмнэ үүrunneruseradd -m -d /home/gitlab-deployer gitlab-deployer usermod -a -G runner gitlab-deployer - Файлд нэмэх
/etc/ssh/sshd_configдараагийн мөрAllowUsers root@* [email protected] - Дахин ачаална уу
sshdsystemctl restart sshd - Хэрэглэгчийн нууц үгийг тохируулна уу
gitlab-deployer(localhost-д хязгаарлалт байгаа тул энэ нь энгийн байж болно)passwd gitlab-deployer - GitLab Runner суулгах (Linux x86-64)
sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64 sudo chmod +x /usr/local/bin/gitlab-runner ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner - gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners руу очиж бүртгэлийн токеныг хуулна уу.
Дэлгэц
- Гүйгчийг бүртгэж байна
gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml
үйл явц
Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!- Гүйгч бүртгэгдсэн эсэхийг шалгана уу. gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners энэ төсөлд идэвхжсэн гэсэн рүү очно уу.
Дэлгэц
- Нэмэх тусдаа үйлчилгээ
/etc/systemd/system/gitlab-deployer.service[Unit] Description=GitLab Deploy Runner After=syslog.target network.target ConditionFileIsExecutable=/usr/local/bin/gitlab-runner [Service] StartLimitInterval=5 StartLimitBurst=10 ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer" Restart=always RestartSec=120 [Install] WantedBy=multi-user.target - Бид үйлчилгээг эхлүүлнэ.
systemctl enable gitlab-deployer.service systemctl start gitlab-deployer.service systemctl status gitlab-deployer.service - Гүйгч гүйж байгаа эсэхийг шалгана уу.
Жишээ нь:
GPG түлхүүр үүсгэх
-
Нэг машинаас бид хэрэглэгчийн доор ssh-ээр дамждаг
gitlab-deployer(энэ нь GPG түлхүүр үүсгэхэд чухал ач холбогдолтой)ssh [email protected] -
Бид асуултанд хариулснаар түлхүүр үүсгэдэг. Би өөрийнхөө нэр, имэйлийг ашигласан.
Түлхүүрийн нууц үгийг зааж өгөхөө мартуузай. Энэ түлхүүрээр олдворууд гарын үсэг зурна.gpg --gen-key -
Шалгах
gpg --list-keys -a /home/gitlab-deployer/.gnupg/pubring.gpg ---------------------------------------- pub 4096R/00000000 2019-04-19 uid Petruha Petrov <[email protected]> sub 4096R/11111111 2019-04-19 -
Манай нийтийн түлхүүрийг түлхүүр серверт байршуулж байна
gpg --keyserver keys.gnupg.net --send-key 00000000 gpg: sending key 00000000 to hkp server keys.gnupg.net
Maven тохиргоо
- Бид хэрэглэгчийн доор ордог
gitlab-deployersu gitlab-deployer - maven лавлах үүсгэнэ үү репозитор ба кэштэй холбох (алдаа хийх хэрэггүй)
Хэрэв та нэг машин дээр хэд хэдэн гүйгч ажиллуулахаар төлөвлөөгүй бол энэ алхамыг алгасаж болно.mkdir -p ~/.m2/repository ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository - Мастер түлхүүр үүсгэх
mvn --encrypt-master-password password {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=} - ~/.m2/settings-security.xml файл үүсгэ
<settingsSecurity> <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master> </settingsSecurity> - Sonatype данснаас нууц үгээ шифрлэж байна
mvn --encrypt-password SONATYPE_PASSWORD {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J} - ~/.m2/settings.xml файл үүсгэ
<settings> <profiles> <profile> <id>env</id> <activation> <activeByDefault>true</activeByDefault> </activation> <properties> <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase> </properties> </profile> </profiles> <servers> <server> <id>sonatype</id> <username>SONATYPE_USERNAME</username> <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password> </server> </servers> </settings>
хаана,
GPG_SECRET_KEY_PASSPHRASE - GPG түлхүүрийн нууц үг
SONATYPE_USERNAME - sonatype бүртгэлийн нэвтрэлт
Энэ нь гүйгчийг тохируулж дуусгах тул та хэсэг рүү очиж болно
Хуваалцсан гүйгч
GPG түлхүүр үүсгэх
-
Юуны өмнө та GPG түлхүүр үүсгэх хэрэгтэй. Үүнийг хийхийн тулд gnupg програмыг суулгана уу.
yum install -y gnupg -
Бид асуултанд хариулснаар түлхүүр үүсгэдэг. Би өөрийнхөө нэр, имэйлийг ашигласан. Түлхүүрийн нууц үгийг зааж өгөхөө мартуузай.
gpg --gen-key -
Гол мэдээллийг олж авах
gpg --list-keys -a pub rsa3072 2019-04-24 [SC] [expires: 2021-04-23] 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 uid [ultimate] tttemp <[email protected]> sub rsa3072 2019-04-24 [E] [expires: none] -
Манай нийтийн түлхүүрийг түлхүүр серверт байршуулж байна
gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net -
Хувийн түлхүүр авч байна
gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 -----BEGIN PGP PRIVATE KEY BLOCK----- lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5 ... =2Wd2 -----END PGP PRIVATE KEY BLOCK----- -
Төслийн тохиргоо -> Тохиргоо -> CI / CD -> Хувьсагч руу очоод хувийн түлхүүрээ хувьсагчид хадгална уу.
GPG_SECRET_KEY
Maven тохиргоо
- Мастер түлхүүр үүсгэх
mvn --encrypt-master-password password {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=} - Төслийн тохиргоо -> Тохиргоо -> CI / CD -> Хувьсагч руу орж хувьсагчид хадгална
SETTINGS_SECURITY_XMLдараах мөрүүд:<settingsSecurity> <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master> </settingsSecurity> - Sonatype данснаас нууц үгээ шифрлэж байна
mvn --encrypt-password SONATYPE_PASSWORD {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J} - Төслийн тохиргоо -> Тохиргоо -> CI / CD -> Хувьсагч руу орж хувьсагчид хадгална
SETTINGS_XMLдараах мөрүүд:<settings> <profiles> <profile> <id>env</id> <activation> <activeByDefault>true</activeByDefault> </activation> <properties> <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase> </properties> </profile> </profiles> <servers> <server> <id>sonatype</id> <username>sonatype_username</username> <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password> </server> </servers> </settings>
хаана,
GPG_SECRET_KEY_PASSPHRASE - GPG түлхүүрийн нууц үг
SONATYPE_USERNAME - sonatype бүртгэлийн нэвтрэлт
Докерын дүрсийг байрлуулах
-
Бид Java-ийн хүссэн хувилбараар байршуулахдаа даалгавруудыг гүйцэтгэх нэлээн энгийн Dockerfile үүсгэдэг. Уулын нурууны жишээг доор харуулав.
FROM java:8u111-jdk-alpine RUN apk add gnupg maven git --update-cache --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && mkdir ~/.m2/ -
Төсөлдөө зориулж сав барих
docker build -t registry.gitlab.com/group/deploy . -
Бид чингэлэгийг баталгаажуулж, бүртгэлд ачаална.
docker login -u USER -p PASSWORD registry.gitlab.com docker push registry.gitlab.com/group/deploy
GitLab CI
Төсөл байршуулах
.gitlab-ci.yml файлыг байршуулах төслийн үндэс рүү нэмнэ үү
Скрипт нь бие биенээсээ үл хамаарах хоёр байршуулах даалгаврыг харуулж байна. Тус тусад нь тусгай гүйгч эсвэл хуваалцсан гүйгч.
.gitlab-ci.yml
stages:
- deploy
Specific Runner:
extends: .java_deploy_template
# Задача будет выполняться на вашем shell-раннере
tags:
- deploy
Shared Runner:
extends: .java_deploy_template
# Задача будет выполняться на публичном docker-раннере
tags:
- docker
# Образ из раздела GitLab Runner -> Shared Runner -> Docker
image: registry.gitlab.com/group/deploy-project:latest
before_script:
# Импортируем GPG ключ
- printf "${GPG_SECRET_KEY}" | gpg --batch --import
# Сохраняем maven конфигурацию
- printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
- printf "${SETTINGS_XML}" > ~/.m2/settings.xml
.java_deploy_template:
stage: deploy
# Задача сработает по триггеру, если передана переменная DEPLOY со значением java
only:
variables:
- $DEPLOY == "java"
variables:
# отключаем клонирование текущего проекта
GIT_STRATEGY: none
script:
# Предоставляем возможность хранения пароля в незашифрованном виде
- git config --global credential.helper store
# Сохраняем временные креды пользователя gitlab-ci-token
# Токен работает для всех публичных проектов gitlab.com и для проектов группы
- echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
# Полностью чистим текущую директорию
- rm -rf .* *
# Клонируем проект который, будем деплоить в Sonatype Nexus
- git clone ${DEPLOY_CI_REPOSITORY_URL} .
# Переключаемся на нужный коммит
- git checkout ${DEPLOY_CI_COMMIT_SHA} -f
# Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
# В противном случае есть риск залить сырые артефакты в maven central
- >
for pom in $(find . -name pom.xml); do
if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
exit 1;
fi;
done
# Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
- >
if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
else
VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
if [[ "${VERSION}" == *-SNAPSHOT ]]; then
mvn versions:set -DnewVersion=${VERSION}
else
mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
fi
fi
# Запускаем задачу на сборку и деплой артефактов
- mvn clean deploy -DskipTests=true
Java төсөл
Нийтийн агуулах руу байршуулах ёстой java төслүүдэд Release болон Snapshot хувилбаруудыг татаж авахын тулд 2 алхам нэмэх шаардлагатай.
.gitlab-ci.yml
stages:
- build
- test
- verify
- deploy
<...>
Release:
extends: .trigger_deploy
# Запускать задачу только пo тегу.
only:
- tags
Snapshot:
extends: .trigger_deploy
# Запускаем задачу на публикацию SNAPSHOT версии вручную
when: manual
# Не запускать задачу, если проставлен тег.
except:
- tags
.trigger_deploy:
stage: deploy
variables:
# Отключаем клонирование текущего проекта
GIT_STRATEGY: none
# Ссылка на триггер deploy-задачи
URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
# Переменные deploy-задачи
POST_DATA: "
token=${DEPLOY_TOKEN}&
ref=master&
variables[DEPLOY]=${DEPLOY}&
variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
"
script:
# Не использую cURL, так как с флагами --fail --show-error
# он не выводит тело ответа, если HTTP код 400 и более
- wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}Энэ шийдэлд би жаахан цааш явж, java төслүүдэд нэг CI загвар ашиглахаар шийдсэн.
Илүү дэлгэрэнгүй мэдээлэл
Би тусдаа төсөл боловсруулсан Тэр java төслүүдийн CI загварыг байрлуулсан .
нийтлэг.yml
stages:
- build
- test
- verify
- deploy
variables:
SONAR_ARGS: "
-Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA}
-Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME}
"
.build_java_project:
stage: build
tags:
- touchbit-shell
variables:
SKIP_TEST: "false"
script:
- mvn clean
- mvn package -DskipTests=${SKIP_TEST}
artifacts:
when: always
expire_in: 30 day
paths:
- "*/target/reports"
.build_sphinx_doc:
stage: build
tags:
- touchbit-shell
variables:
DOCKERFILE: .indirect/docs/Dockerfile
script:
- docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .
.junit_module_test_run:
stage: test
tags:
- touchbit-shell
variables:
MODULE: ""
script:
- cd ${MODULE}
- mvn test
artifacts:
when: always
expire_in: 30 day
paths:
- "*/target/reports"
.junit_test_run:
stage: test
tags:
- touchbit-shell
script:
- mvn test
artifacts:
when: always
expire_in: 30 day
paths:
- "*/target/reports"
.sonar_review:
stage: verify
tags:
- touchbit-shell
dependencies: []
script:
- >
if [ "$CI_BUILD_REF_NAME" == "master" ]; then
mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
else
mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
fi
.trigger_deploy:
stage: deploy
tags:
- touchbit-shell
variables:
URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
POST_DATA: "
token=${DEPLOY_TOKEN}&
ref=master&
variables[DEPLOY]=${DEPLOY}&
variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
"
script:
- wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}
.trigger_release_deploy:
extends: .trigger_deploy
only:
- tags
.trigger_snapshot_deploy:
extends: .trigger_deploy
when: manual
except:
- tags
Үүний үр дүнд, java төслүүдэд .gitlab-ci.yml нь маш авсаархан, дэлгэрэнгүй биш харагддаг.
.gitlab-ci.yml
include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml
Shields4J:
extends: .build_java_project
Sphinx doc:
extends: .build_sphinx_doc
variables:
DOCKERFILE: .docs/Dockerfile
Sonar review:
extends: .sonar_review
dependencies:
- Shields4J
Release:
extends: .trigger_release_deploy
Snapshot:
extends: .trigger_snapshot_deploy
pom.xml тохиргоо
Энэ сэдвийг маш дэлгэрэнгүй тайлбарласан болно. в , тиймээс би залгаасуудыг ашиглах зарим нарийн ширийн зүйлийг тайлбарлах болно. Би бас та хэр амархан, байгалийн байдлаар ашиглаж болохыг тайлбарлах болно nexus-staging-maven-pluginхэрэв та org.sonatype.oss:oss-parent-г төслийнхээ эх болгон ашиглахыг хүсэхгүй эсвэл ашиглах боломжгүй бол.
maven-суулгах залгаас
Орон нутгийн репозиторт модулиудыг суулгана.
Бусад төслүүдийн шийдлүүдийг орон нутгийн баталгаажуулалт, түүнчлэн шалгах нийлбэрт маш их хэрэгтэй.
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-install-plugin</artifactId>
<executions>
<execution>
<id>install-project</id>
<!-- Если у вас многомодульный проект с деплоем родительского помика -->
<phase>install</phase>
<!-- Явно указываем файлы для локальной установки -->
<configuration>
<file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
<pomFile>dependency-reduced-pom.xml</pomFile>
<!-- Принудительное обновление метаданных проекта -->
<updateReleaseInfo>true</updateReleaseInfo>
<!-- Контрольные суммы для проверки целостности -->
<createChecksum>true</createChecksum>
</configuration>
</execution>
</executions>
</plugin>
maven-javadoc-plugin
Төсөлд зориулж javadoc үүсгэж байна.
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-javadoc-plugin</artifactId>
<executions>
<execution>
<goals>
<goal>jar</goal>
</goals>
<!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
<phase>prepare-package</phase>
<configuration>
<!-- Очень помогает в публичных проектах -->
<failOnError>true</failOnError>
<failOnWarnings>true</failOnWarnings>
<!-- Убирает ошибку поиска документации в target директории -->
<detectOfflineLinks>false</detectOfflineLinks>
</configuration>
</execution>
</executions>
</plugin>Хэрэв танд java агуулаагүй модуль байгаа бол (жишээ нь зөвхөн нөөц)
Эсвэл та зарчмын хувьд javadoc үүсгэхийг хүсэхгүй байна, дараа нь туслах maven-jar-plugin
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<executions>
<execution>
<id>empty-javadoc-jar</id>
<phase>generate-resources</phase>
<goals>
<goal>jar</goal>
</goals>
<configuration>
<classifier>javadoc</classifier>
<classesDirectory>${basedir}/javadoc</classesDirectory>
</configuration>
</execution>
</executions>
</plugin>
maven-gpg-plugin
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-gpg-plugin</artifactId>
<executions>
<execution>
<id>sign-artifacts</id>
<!-- Сборка будет падать, если отсутствует GPG ключ -->
<!-- Подписываем артефакты только на фазе deploy -->
<phase>deploy</phase>
<goals>
<goal>sign</goal>
</goals>
</execution>
</executions>
</plugin>
nexus-staging-maven-plugin
Тохиргоо:
<project>
<!-- ... -->
<build>
<plugins>
<!-- ... -->
<plugin>
<groupId>org.sonatype.plugins</groupId>
<artifactId>nexus-staging-maven-plugin</artifactId>
</plugin>
</plugins>
<pluginManagement>
<plugins>
<plugin>
<groupId>org.sonatype.plugins</groupId>
<artifactId>nexus-staging-maven-plugin</artifactId>
<extensions>true</extensions>
<configuration>
<serverId>sonatype</serverId>
<nexusUrl>https://oss.sonatype.org/</nexusUrl>
<!-- Обновляем метаданные, чтобы пометить артефакт как release -->
<!-- Не влияет на snapshot версии -->
<updateReleaseInfo>true</updateReleaseInfo>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-deploy-plugin</artifactId>
<configuration>
<!-- Отключаем плагин -->
<skip>true</skip>
</configuration>
</plugin>
</plugins>
</pluginManagement>
</build>
<distributionManagement>
<snapshotRepository>
<id>sonatype</id>
<name>Nexus Snapshot Repository</name>
<url>https://oss.sonatype.org/content/repositories/snapshots/</url>
</snapshotRepository>
<repository>
<id>sonatype</id>
<name>Nexus Release Repository</name>
<url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
</repository>
</distributionManagement>
</project>Хэрэв танд олон модультай төсөл байгаа бөгөөд репозитор руу тодорхой модуль байршуулах шаардлагагүй бол энэ модулийн pom.xml дээр нэмэх шаардлагатай. nexus-staging-maven-plugin тугтай skipNexusStagingDeployMojo
<build>
<plugins>
<plugin>
<groupId>org.sonatype.plugins</groupId>
<artifactId>nexus-staging-maven-plugin</artifactId>
<configuration>
<skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
</configuration>
</plugin>
</plugins>
</build>Хормын хувилбарыг байршуулсны дараа хувилбаруудыг авах боломжтой
<repositories>
<repository>
<id>SonatypeNexus</id>
<url>https://oss.sonatype.org/content/groups/staging/</url>
<!-- Не надо указывать флаги snapshot/release для репозитория -->
</repository>
</repositories>Илүү олон давуу тал
- Nexus репозитортой ажиллах зорилтуудын маш баялаг жагсаалт (
mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin). - maven center-д татаж авах боломжийг автоматаар шалгана
үр дүн
SNAPSHOT хувилбарыг нийтэлж байна
Төслийг бүтээхдээ SNAPSHOT хувилбарыг nexus руу татаж авах ажлыг гараар эхлүүлэх боломжтой
Энэ ажлыг эхлүүлэх үед байршуулах төслийн харгалзах ажил идэвхждэг ().
тайрсан лог
Running with gitlab-runner 11.10.0 (3001a600)
on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO] ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO]
[INFO] Shields4J [pom]
[INFO] test-core [jar]
[INFO] Shields4J client [jar]
[INFO] TestNG listener [jar]
[INFO]
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0 [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO]
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO] Updating project org.touchbit.shields4j:shields4j-parent
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]
[INFO] Processing org.touchbit.shields4j:client
[INFO] Updating parent org.touchbit.shields4j:shields4j-parent
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] Updating dependency org.touchbit.shields4j:test-core
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]
[INFO] Processing org.touchbit.shields4j:test-core
[INFO] Updating parent org.touchbit.shields4j:shields4j-parent
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]
[INFO] Processing org.touchbit.shields4j:testng
[INFO] Updating parent org.touchbit.shields4j:shields4j-parent
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] Updating dependency org.touchbit.shields4j:client
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] Updating dependency org.touchbit.shields4j:test-core
[INFO] from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO] ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO]
[INFO] Shields4J [pom]
[INFO] test-core [jar]
[INFO] Shields4J client [jar]
[INFO] TestNG listener [jar]
[INFO]
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO] * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [ 2.375 s]
[INFO] test-core .......................................... SUCCESS [ 3.929 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------Үүний үр дүнд nexus хувилбар ачаалагдсан байна .
Бүх хормын хувилбаруудыг сайт дээрх агуулахаас устгаж болно таны дансанд.
Хувилбарын хувилбарыг нийтлэх
Шошго тохируулагдсан үед байршуулах төслийн харгалзах ажил автоматаар идэвхжиж, хувилбарын хувилбарыг nexus ().
Хамгийн сайн тал нь nexus-д хаагдах нь автоматаар өдөөгддөг.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1037".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 9.603 s]
[INFO] test-core .......................................... SUCCESS [ 3.419 s]
[INFO] Shields4J client ................................... SUCCESS [ 9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------Хэрэв ямар нэг зүйл буруу болвол даалгавар амжилтгүй болно
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1038".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR]
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR]
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR] Rule "signature-staging" failures
[ERROR] * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 4.073 s]
[INFO] test-core .......................................... SUCCESS [ 2.788 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------Үүний үр дүнд бидэнд ганцхан сонголт үлдлээ. Эсвэл энэ хувилбарыг устгах эсвэл нийтлэх.
Гаргасны дараа хэсэг хугацааны дараа олдворууд орох болно
сэдэвээс гадуур
Мавен бусад олон нийтийн мэдээллийн сангуудыг индексжүүлдэг нь надад илчлэлт болсон юм.
Миний хуучин репозиторыг индексжүүлсэн учраас би robots.txt файлыг байршуулах шаардлагатай болсон.
дүгнэлт
Бидэнд байгаа зүйл
- Төрөл бүрийн хөгжүүлэлтийн хэлнүүдэд олдворуудыг нийтийн хадгалах газарт байршуулах хэд хэдэн CI даалгавруудыг хэрэгжүүлэх боломжтой тусдаа байршуулах төсөл.
- Байршуулах төсөл нь гадны хөндлөнгийн оролцооноос тусгаарлагдсан бөгөөд зөвхөн Эзэмшигч болон Үйлчлэгчийн үүрэг бүхий хэрэглэгчид өөрчлөх боломжтой.
- Зөвхөн байршуулах даалгавруудыг ажиллуулах "халуун" кэш бүхий тусдаа тусгай гүйгч.
- Олон нийтийн мэдээллийн санд хормын хувилбар/хувилбарын хувилбаруудыг нийтлэх.
- Гаргасан хувилбарыг maven center-д хэвлэхэд бэлэн эсэхийг автоматаар шалгана.
- maven center-д "түүхий" хувилбаруудыг автоматаар нийтлэхээс хамгаална.
- Хормын хувилбаруудыг "товшилтоор" бүтээж, нийтлээрэй.
- Хормын хувилбар/хувилбар авах нэг репозитор.
- Java төслийг бүтээх / турших / нийтлэх ерөнхий шугам хоолой.
GitLab CI-г тохируулах нь эхлээд харахад тийм ч төвөгтэй сэдэв биш юм. CI-г түлхүүр гардуулах нөхцөлөөр хэд хэдэн удаа тохируулахад хангалттай бөгөөд одоо та энэ асуудалд сонирхогчоос хол байна. Түүгээр ч барахгүй GitLab баримтжуулалт нь маш их хэрэгцээтэй байдаг. Эхний алхамыг хийхээс бүү ай. Алхаж буй хүний гишгүүр дор зам харагдана (хэн үүнийг хэлснийг санахгүй байна :)
Би санал хүсэлтээ өгөхдөө баяртай байх болно.
Дараагийн өгүүллээр, хэрэв танд зөвхөн нэг бүрхүүлтэй бол интеграцийн тестийн даалгавруудыг (docker-compose-тэй туршилтын үйлчилгээг ажиллуулах) гүйцэтгэхийн тулд GitLab CI-г хэрхэн тохируулахыг харуулах болно.
Эх сурвалж: www.habr.com