Tämä artikkeli on tarkoitettu java-kehittäjille, joiden on nopeasti julkaistava tuotteensa sonatype- ja/tai maven-keskivarastoissa GitLabin avulla. Tässä artikkelissa puhun gitlab-runnerin, gitlab-ci:n ja maven-pluginin määrittämisestä tämän ongelman ratkaisemiseksi.
Edellytykset:
Mvn- ja GPG-avaimien turvallinen tallennus.
Julkisten CI-tehtävien turvallinen suorittaminen.
Lähetetään artefakteja (julkaisu / tilannekuva) julkisiin arkistoihin.
Julkaisuversioiden automaattinen tarkistus julkaisua varten Maven Centralissa.
Yleinen ratkaisu artefaktien lataamiseen arkistoon useille projekteille.
Yksityiskohtainen kuvaus mekanismista, jolla artefakteja julkaistaan Maven Centralissa Sonatype OSS Repository Hosting -palvelun kautta, on jo kuvattu tämä artikkeli käyttäjä Googolplex, joten viittaan tähän artikkeliin oikeissa paikoissa.
Ilmoittaudu ennakkoon Sonatyyppi JIRA ja avaa lippu arkiston avaamiseksi (lue lisätietoja osiosta Luo lippu Sonatype JIRA:ssa). Arkiston avaamisen jälkeen JIRAn kirjautumistunnus/salasana-paria (jäljempänä Sonatype-tili) käytetään artefaktien lataamiseen Sonatype nexukseen.
Jos käytät Linux-konsolia GPG-avaimen luomiseen (gnupg/gnupg2), sinun on asennettava RNG-tools entropian luomiseksi. Muuten avainten luominen voi kestää hyvin kauan.
Ensinnäkin sinun on luotava ja määritettävä projekti, johon putki tallennetaan artefaktien käyttöönottoa varten. Nimesin projektini yksinkertaisesti ja mutkattomasti - sijoittaa
Kun olet luonut arkiston, sinun on rajoitettava pääsyä arkiston muuttamiseksi.
Mene projektiin -> Asetukset -> Arkisto -> Suojatut oksat. Poistamme kaikki säännöt ja lisäämme yhden säännön jokerimerkillä *, jolla on oikeus työntää ja yhdistää vain käyttäjille, joilla on ylläpitäjän rooli. Tämä sääntö toimii sekä tämän projektin että ryhmän, johon tämä projekti kuuluu, käyttäjille.
Jos ylläpitäjiä on useita, paras ratkaisu olisi rajoittaa periaatteessa pääsyä hankkeeseen.
Siirry kohtaan projekti -> Asetukset -> Yleiset -> Näkyvyys, projektin ominaisuudet, käyttöoikeudet ja aseta Projektin näkyvyys -asetukseksi yksityinen.
Minulla on julkisesti saatavilla oleva projekti, koska käytän omaa GitLab Runner -ohjelmaani ja vain minulla on pääsy arkiston vaihtamiseen. Itse asiassa ei ole etujeni mukaista näyttää yksityisiä tietoja julkisissa putkilokeissa.
Arkiston muuttamisen sääntöjä tiukennetaan
Mene projektiin -> Asetukset -> Arkisto -> Push Rules ja aseta Committer-rajoitus, Tarkista, onko tekijä GitLab-käyttäjäliput. Suosittelen myös perustamista sitoa allekirjoitus, ja aseta Hylkää allekirjoittamattomat sitoumukset -lippu.
Seuraavaksi sinun on määritettävä laukaisin tehtävien käynnistämiseksi
Siirry kohtaan projekti -> Asetukset -> CI / CD -> Pipeline-laukaisimet ja luo uusi trigger-tunnus
Tämä tunnus voidaan lisätä välittömästi projektiryhmän muuttujien yleiseen kokoonpanoon.
Siirry kohtaan ryhmä -> Asetukset -> CI / CD -> Muuttujat ja lisää muuttuja DEPLOY_TOKEN trigger-tokenin arvolla.
Tässä osiossa kuvataan määritykset suoritettavien tehtävien käyttöönotossa käyttämällä omaa (erityistä) ja julkista (jaettua) juoksijaa.
Erityinen juoksija
Käytän omia juoksuja, koska ennen kaikkea se on kätevä, nopea ja halpa.
Juoksijalle suosittelen Linux VDS:ää, jossa on 1 CPU, 2 Gt RAM-muistia, 20 Gt HDD. Emissiohinta on ~3000₽ vuodessa.
Minun juoksijani
Juoksijalle otin VDS 4 CPU:n, 4 Gt RAM-muistia, 50 Gt SSD:n. Maksoi ~11000 XNUMX₽, enkä ole koskaan katunut.
Minulla on yhteensä 7 konetta. 5 aruballa ja 2 ihorilla.
Meillä on siis juoksija. Nyt määritämme sen.
Menemme koneelle SSH:n kautta ja asennamme java, git, maven, gnupg2.
Luo hakemisto Maven-välimuistille ja määritä ryhmäkäyttöoikeudet runner
Voit ohittaa tämän kohdan, jos et aio ajaa useita juoksijoita yhdellä koneella.
Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
Tarkistamme, että juoksija on rekisteröitynyt. Mene osoitteeseen gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners Activated for this project.
Näyttö
Lisätä erillinen palvelu /etc/systemd/system/gitlab-deployer.service
Luomme avaimen vastaamalla kysymyksiin. Käytin omaa nimeäni ja sähköpostiosoitetta.
Muista määrittää avaimelle salasana. Artefaktit allekirjoitetaan tällä avaimella.
gpg --gen-key
tarkista
gpg --list-keys -a
/home/gitlab-deployer/.gnupg/pubring.gpg
----------------------------------------
pub 4096R/00000000 2019-04-19
uid Petruha Petrov <[email protected]>
sub 4096R/11111111 2019-04-19
Julkisen avaimemme lataaminen avainpalvelimelle
gpg --keyserver keys.gnupg.net --send-key 00000000
gpg: sending key 00000000 to hkp server keys.gnupg.net
Lisää .gitlab-ci.yml-tiedosto käyttöönottoprojektin juureen
Käsikirjoitus esittää kaksi toisensa poissulkevaa käyttöönottotehtävää. Tietty juoksija tai jaettu juoksija.
.gitlab-ci.yml
stages:
- deploy
Specific Runner:
extends: .java_deploy_template
# Задача будет выполняться на вашем shell-раннере
tags:
- deploy
Shared Runner:
extends: .java_deploy_template
# Задача будет выполняться на публичном docker-раннере
tags:
- docker
# Образ из раздела GitLab Runner -> Shared Runner -> Docker
image: registry.gitlab.com/group/deploy-project:latest
before_script:
# Импортируем GPG ключ
- printf "${GPG_SECRET_KEY}" | gpg --batch --import
# Сохраняем maven конфигурацию
- printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
- printf "${SETTINGS_XML}" > ~/.m2/settings.xml
.java_deploy_template:
stage: deploy
# Задача сработает по триггеру, если передана переменная DEPLOY со значением java
only:
variables:
- $DEPLOY == "java"
variables:
# отключаем клонирование текущего проекта
GIT_STRATEGY: none
script:
# Предоставляем возможность хранения пароля в незашифрованном виде
- git config --global credential.helper store
# Сохраняем временные креды пользователя gitlab-ci-token
# Токен работает для всех публичных проектов gitlab.com и для проектов группы
- echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
# Полностью чистим текущую директорию
- rm -rf .* *
# Клонируем проект который, будем деплоить в Sonatype Nexus
- git clone ${DEPLOY_CI_REPOSITORY_URL} .
# Переключаемся на нужный коммит
- git checkout ${DEPLOY_CI_COMMIT_SHA} -f
# Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
# В противном случае есть риск залить сырые артефакты в maven central
- >
for pom in $(find . -name pom.xml); do
if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
exit 1;
fi;
done
# Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
- >
if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
else
VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
if [[ "${VERSION}" == *-SNAPSHOT ]]; then
mvn versions:set -DnewVersion=${VERSION}
else
mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
fi
fi
# Запускаем задачу на сборку и деплой артефактов
- mvn clean deploy -DskipTests=true
Java-projekteissa, jotka on tarkoitus ladata julkisiin tietovarastoihin, sinun on lisättävä kaksi vaihetta julkaisu- ja tilannekuva-versioiden lataamiseksi.
.gitlab-ci.yml
stages:
- build
- test
- verify
- deploy
<...>
Release:
extends: .trigger_deploy
# Запускать задачу только пo тегу.
only:
- tags
Snapshot:
extends: .trigger_deploy
# Запускаем задачу на публикацию SNAPSHOT версии вручную
when: manual
# Не запускать задачу, если проставлен тег.
except:
- tags
.trigger_deploy:
stage: deploy
variables:
# Отключаем клонирование текущего проекта
GIT_STRATEGY: none
# Ссылка на триггер deploy-задачи
URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
# Переменные deploy-задачи
POST_DATA: "
token=${DEPLOY_TOKEN}&
ref=master&
variables[DEPLOY]=${DEPLOY}&
variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
"
script:
# Не использую cURL, так как с флагами --fail --show-error
# он не выводит тело ответа, если HTTP код 400 и более
- wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}
Tässä ratkaisussa menin hieman pidemmälle ja päätin käyttää yhtä CI-mallia Java-projekteihin.
Lisätietoja
Tein erillisen projektin gitlab-ci johon laitoin CI-mallin Java-projekteja varten yleinen.yml.
Jos sinulla on monimoduuliprojekti, etkä tarvitse ladata tiettyä moduulia arkistoon, sinun on lisättävä nexus-staging-maven-plugin lipun kanssa skipNexusStagingDeployMojo
Latauksen jälkeen tilannekuva-/julkaisuversiot ovat saatavilla esitysvarastot
<repositories>
<repository>
<id>SonatypeNexus</id>
<url>https://oss.sonatype.org/content/groups/staging/</url>
<!-- Не надо указывать флаги snapshot/release для репозитория -->
</repository>
</repositories>
Lisää plussia
Erittäin rikas luettelo tavoitteista työskennelläksesi nexus-arkiston kanssa (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
Automaattinen julkaisun tarkistus ladattaessa Maven Centraliin
Kun tunniste on asennettu, vastaava käyttöönottoprojektin tehtävä käynnistyy automaattisesti lataamaan julkaisuversio nexukseen (esimerkki).
Parasta on, että sulkeminen laukeaa automaattisesti nexuksessa.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1037".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 9.603 s]
[INFO] test-core .......................................... SUCCESS [ 3.419 s]
[INFO] Shields4J client ................................... SUCCESS [ 9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------
Ja jos jokin menee pieleen, tehtävä epäonnistuu varmasti
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1038".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR]
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR]
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR] Rule "signature-staging" failures
[ERROR] * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 4.073 s]
[INFO] test-core .......................................... SUCCESS [ 2.788 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
Tämän seurauksena meillä on vain yksi vaihtoehto. Poista tämä versio tai julkaise se.
Julkaisun jälkeen artefaktit ovat mukana jonkin ajan kuluttua
offtopic
Minulle oli löytö, että maven indeksoi muut julkiset tietovarastot.
Minun piti lisätä robots.txt, koska se indeksoi vanhan arkistoni.
Suojaus "raaka" -versioiden automaattista julkaisemista vastaan Maven Centralissa.
Luo ja julkaise tilannekuvaversiot "napsauttamalla".
Yksi arkisto tilannevedos-/julkaisuversioiden hankkimista varten.
Yleinen putki Java-projektin rakentamiseen/testaukseen/julkaisemiseen.
GitLab CI:n käyttöönotto ei ole niin monimutkainen aihe kuin miltä ensi silmäyksellä näyttää. Riittää, kun asetat CI:n avaimet käteen -periaatteella pari kertaa, ja nyt et ole kaukana amatööristä tässä asiassa. Lisäksi GitLab-dokumentaatio on erittäin tarpeeton. Älä pelkää ottaa ensimmäistä askelta. Tie näkyy kävelevän portaiden alta (en muista kuka sen sanoi :)
Otan mielelläni palautetta vastaan.
Seuraavassa artikkelissa puhun siitä, kuinka GitLab CI määritetään suorittamaan tehtäviä integraatiotesteillä kilpailukykyisesti (testattavien palveluiden suorittaminen docker-composella), jos sinulla on vain yksi shell runner.