GitLab CI-ի կարգավորում՝ java նախագիծ maven central-ում վերբեռնելու համար

Այս հոդվածը նախատեսված է Java ծրագրավորողների համար, ովքեր պետք է արագ հրապարակեն իրենց արտադրանքը sonatype և/կամ maven կենտրոնական պահեստներում՝ օգտագործելով GitLab: Այս հոդվածում ես կխոսեմ այս խնդիրը լուծելու համար gitlab-runner, gitlab-ci և maven-plugin ստեղծման մասին:

Նախադրյալներ.

• mvn և GPG ստեղների անվտանգ պահպանում:
• Հանրային CI-ի առաջադրանքների անվտանգ կատարում:
• Արտեֆակտների վերբեռնում (թողարկում/պատկերված նկար) հանրային պահեստներ:
• Maven Central-ում հրապարակման համար թողարկման տարբերակների ավտոմատ ստուգում:
• Ընդհանուր լուծում մի քանի նախագծերի համար արտեֆակտներ պահեստարան վերբեռնելու համար:
• Պարզություն և օգտագործման հեշտություն:

Պարունակություն

• Ընդհանուր տեղեկություններ
• GitLab-ում տեղակայման նախագծի կարգավորում
• GitLab Runner
  • Հատուկ վազորդ
    • Gitlab runner-ի տեղադրում
    • GPG բանալիների ստեղծում
    • Maven-ի կարգավորում
  • Համօգտագործվող վազորդ
    • GPG բանալիների ստեղծում
    • Maven-ի կարգավորում
    • Տեղադրեք դոկերի պատկերը
• GitLab CI
  • Տեղադրել նախագիծը
  • Java նախագիծ
• pom.xml կոնֆիգուրացիա
  • maven-install-plugin
  • maven-javadoc-plugin
  • maven-gpg-plugin
  • nexus-staging-maven-plugin
• Արդյունք
  • Հրապարակեք ակնթարթային տարբերակը
  • Թողարկման տարբերակի հրապարակում
• Ամփոփում

Ընդհանուր տեղեկություններ

• Sonatype OSS Repository Hosting ծառայության միջոցով Maven Central-ում արտեֆակտների հրապարակման մեխանիզմի մանրամասն նկարագրությունը արդեն նկարագրված է. այս հոդվածը օգտվող Գուգոլպլեքս, ուստի այս հոդվածին կանդրադառնամ ճիշտ տեղերում։
• Նախապես գրանցվել՝ հասցեով Sonatype JIRA և սկսեք տոմս բացել պահեստը (ավելի մանրամասն, կարդացեք բաժինը Ստեղծեք Sonatype JIRA տոմս) Պահեստը բացելուց հետո JIRA մուտքի/գաղտնաբառի զույգը (այսուհետ՝ Sonatype հաշիվ) կօգտագործվի արտեֆակտները Sonatype nexus-ում վերբեռնելու համար:
• Ավելին, GPG բանալի ստեղծման գործընթացը նկարագրված է շատ չոր: Լրացուցիչ մանրամասների համար տես բաժինը: GnuPG-ի կարգավորում՝ արտեֆակտները ստորագրելու համար
• Եթե ​​դուք օգտագործում եք Linux կոնսոլը GPG ստեղն ստեղծելու համար (gnupg/gnupg2), ապա պետք է տեղադրել rng գործիքներ էնտրոպիա առաջացնել։ Հակառակ դեպքում, բանալիների ստեղծումը կարող է շատ երկար տևել:
• Պահպանման ծառայություններ հանրային GPG ստեղներ
  • http://keys.gnupg.net
  • http://pool.sks-keyservers.net
  • http://keyserver.ubuntu.com

Վերադարձ դեպի բովանդակություն

GitLab-ում տեղակայման նախագծի կարգավորում

• Առաջին հերթին, դուք պետք է ստեղծեք և կազմաձևեք մի նախագիծ, որում խողովակաշարը կպահվի արտեֆակտների տեղակայման համար: Ես իմ նախագիծն անվանեցի պարզ և ոչ բարդ, տեղակայել
• Պահեստը ստեղծելուց հետո անհրաժեշտ է սահմանափակել մուտքը՝ պահեստը փոխելու համար:
  Գնացեք նախագիծ -> Պարամետրեր -> Պահեստ -> Պաշտպանված մասնաճյուղեր: Մենք ջնջում ենք բոլոր կանոնները և ավելացնում ենք մեկ կանոն Wildcard *-ի միջոցով՝ սեղմելու և միաձուլելու իրավունքով միայն Maintainers դեր ունեցող օգտատերերի համար: Այս կանոնը կգործի ինչպես այս նախագծի, այնպես էլ այն խմբի համար, որին պատկանում է այս նախագիծը:
  
• Եթե ​​կան մի քանի սպասարկողներ, ապա լավագույն լուծումը կլինի սկզբունքորեն սահմանափակել մուտքը նախագծին:
  Գնացեք նախագիծ -> Կարգավորումներ -> Ընդհանուր -> Տեսանելիություն, ծրագրի առանձնահատկություններ, թույլտվություններ և դրեք Ծրագրի տեսանելիությունը: Անձնական.
  Ես հանրային հասանելիության նախագիծ ունեմ, քանի որ ես օգտագործում եմ իմ սեփական GitLab Runner-ը և միայն ինձ հասանելի է պահոցը փոփոխելու համար: Դե, իրականում իմ շահերից չի բխում մասնավոր տեղեկությունները ցուցադրել հանրային խողովակաշարերի տեղեկամատյաններում:
• Պահեստը փոխելու կանոնների խստացում
  Գնացեք նախագիծ -> Settings -> Repository -> Push Rules և սահմանեք դրոշները Committer-ի սահմանափակում, Ստուգեք, արդյոք հեղինակը GitLab-ի օգտվող է: Ես նաև խորհուրդ եմ տալիս կարգավորել պարտավորվում է ստորագրել, և սահմանեք Մերժել անստորագիր պարտավորությունների դրոշակը:
• Հաջորդը, դուք պետք է կարգավորեք ձգան առաջադրանքները գործարկելու համար
  Գնացեք նախագիծ -> Կարգավորումներ -> CI / CD -> Խողովակաշարի գործարկիչներ և ստեղծեք նոր գործարկիչ նշան:
  Այս նշանը կարող է անմիջապես ավելացվել մի խումբ նախագծերի փոփոխականների ընդհանուր կազմաձևում:
  Գնացեք խումբ -> Պարամետրեր -> CI / CD -> Փոփոխականներ և ավելացրեք փոփոխական DEPLOY_TOKEN արժեքի մեջ ձգանման նշանով:

Վերադարձ դեպի բովանդակություն

GitLab Runner

Այս բաժինը նկարագրում է տեղակայման ժամանակ առաջադրանքների կատարման կոնֆիգուրացիան՝ օգտագործելով բնիկ (Հատուկ) և հանրային (Համօգտագործվող) վազող:

Հատուկ վազորդ

Ես օգտագործում եմ իմ սեփական վազորդները, քանի որ դա առաջին հերթին հարմար է, արագ, էժան։
Runer-ի համար ես առաջարկում եմ Linux VDS 1 պրոցեսորով, 2 ԳԲ օպերատիվ հիշողությամբ, 20 ԳԲ HDD-ով: Թողարկման գինը տարեկան ~ 3000₽:

Իմ վազորդը

Վազողի համար վերցրեցի VDS 4 պրոցեսոր, 4 ԳԲ օպերատիվ հիշողություն, 50 ԳԲ SSD: Այն արժեր ~ 11000₽ և երբեք չփոշմանեցի դրա համար:
Ընդհանուր 7 մեքենա ունեմ։ 5-ը արուբայի վրա և 2-ը՝ ihor-ի վրա:

Այսպիսով, մենք ունենք վազորդ: Այժմ մենք այն կտեղադրենք:
Մենք գնում ենք մեքենա SSH-ի միջոցով և տեղադրում java, git, maven, gnupg2:

Վերադարձ դեպի բովանդակություն

Gitlab runner-ի տեղադրում

• Ստեղծեք նոր խումբ runner

  sudo groupadd runner

• Ստեղծեք գրացուցակ maven cache-ի համար և նշանակեք խմբի իրավունքները runner
  Դուք կարող եք բաց թողնել այս քայլը, եթե չեք ծրագրում մի քանի վազորդներ գործարկել նույն մեքենայի վրա:

  mkdir -p /usr/cache/.m2/repository
  chown -R :runner /usr/cache
  chmod -R 770 /usr/cache

• Ստեղծեք օգտվող gitlab-deployer և ավելացնել խմբին runner

  useradd -m -d /home/gitlab-deployer gitlab-deployer
  usermod -a -G runner gitlab-deployer

• Ավելացնել ֆայլին /etc/ssh/sshd_config հաջորդ տող

  AllowUsers root@* [email protected]

• Վերագործարկեք sshd

  systemctl restart sshd

• Օգտագործողի համար գաղտնաբառ սահմանեք gitlab-deployer (դա կարող է պարզ լինել, քանի որ սահմանափակում կա localhost-ի համար)

  passwd gitlab-deployer

• Տեղադրեք GitLab Runner-ը (Linux x86-64)

  sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64
  sudo chmod +x /usr/local/bin/gitlab-runner
  ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner
  ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner

• Գնացեք gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners և պատճենեք գրանցման նշանը:

Էկրան

• Վազողի գրանցում

  gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml

պրոցես

Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded                     runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

• Ստուգեք, որ վազորդը գրանցված է: Գնացեք gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners ակտիվացված այս նախագծի համար:

Էկրան

• Ավելացում առանձնացնել ծառայություն /etc/systemd/system/gitlab-deployer.service

  [Unit]
  Description=GitLab Deploy Runner
  After=syslog.target network.target
  ConditionFileIsExecutable=/usr/local/bin/gitlab-runner
  [Service]
  StartLimitInterval=5
  StartLimitBurst=10
  ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer"
  Restart=always
  RestartSec=120
  [Install]
  WantedBy=multi-user.target

• Մենք սկսում ենք ծառայությունը.

  systemctl enable gitlab-deployer.service
  systemctl start gitlab-deployer.service
  systemctl status gitlab-deployer.service

• Ստուգեք, որ վազորդը վազում է:

Օրինակ

Վերադարձ դեպի բովանդակություն

GPG բանալիների ստեղծում

• Նույն մեքենայից մենք անցնում ենք ssh-ի միջոցով օգտագործողի տակ gitlab-deployer (սա կարևոր է GPG բանալիների արտադրության համար)

  ssh [email protected]

• Մենք ստեղծում ենք բանալին՝ պատասխանելով հարցերին: Ես օգտագործել եմ իմ սեփական անունը և էլ.
  Համոզվեք, որ նշեք բանալին բանալին: Արտեֆակտները կստորագրվեն այս բանալիով:

  gpg --gen-key 

• Ստուգեք

  gpg --list-keys -a
  /home/gitlab-deployer/.gnupg/pubring.gpg
  ----------------------------------------
  pub   4096R/00000000 2019-04-19
  uid                  Petruha Petrov <[email protected]>
  sub   4096R/11111111 2019-04-19

• Մեր հանրային բանալին բեռնում է բանալիների սերվեր

  gpg --keyserver keys.gnupg.net --send-key 00000000
  gpg: sending key 00000000 to hkp server keys.gnupg.net

Վերադարձ դեպի բովանդակություն

Maven-ի կարգավորում

• Մենք անցնում ենք օգտագործողի տակ gitlab-deployer

  su gitlab-deployer 

• Ստեղծեք maven գրացուցակ շտեմարան և կապել քեշի հետ (մի սխալվեք)
  Այս քայլը կարելի է բաց թողնել, եթե դուք չեք նախատեսում մի քանի վազորդներ գործարկել նույն մեքենայի վրա:

  mkdir -p ~/.m2/repository
  ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository

• Ստեղծեք հիմնական բանալի

  mvn --encrypt-master-password password
  {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}

• Ստեղծեք ֆայլ ~/.m2/settings-security.xml

  <settingsSecurity>
  <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
  </settingsSecurity>

• Գաղտնաբառի գաղտնագրում Sonatype հաշվից

  mvn --encrypt-password SONATYPE_PASSWORD
  {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}

• Ստեղծեք ֆայլ ~/.m2/settings.xml

  <settings>  
  <profiles>
      <profile>
          <id>env</id>
          <activation>
              <activeByDefault>true</activeByDefault>
          </activation>
          <properties>
              <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
          </properties>
      </profile>
  </profiles>
  <servers>
      <server>
          <id>sonatype</id>
          <username>SONATYPE_USERNAME</username>
          <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
      </server>
  </servers>
  </settings>

Որտեղ,
GPG_SECRET_KEY_PASSPHRASE - GPG բանալի գաղտնաբառ
SONATYPE_USERNAME - sonatype հաշվի մուտք

Սա ավարտում է վազորդի կարգավորումը, կարող եք անցնել բաժին GitLab CI

Վերադարձ դեպի բովանդակություն

Համօգտագործվող վազորդ

GPG բանալիների ստեղծում

• Առաջին հերթին, դուք պետք է ստեղծեք GPG բանալի: Դա անելու համար տեղադրեք gnupg:

  yum install -y gnupg

• Մենք ստեղծում ենք բանալին՝ պատասխանելով հարցերին: Ես օգտագործել եմ իմ սեփական անունը և էլ. Համոզվեք, որ նշեք բանալին բանալին:

  gpg --gen-key 

• Առբերեք հիմնական տեղեկատվությունը

  gpg --list-keys -a
  pub   rsa3072 2019-04-24 [SC] [expires: 2021-04-23]
    2D0D1706366FC4AEF79669E24D09C55BBA3FD728
  uid           [ultimate] tttemp <[email protected]>
  sub   rsa3072 2019-04-24 [E] [expires: none]

• Մեր հանրային բանալին բեռնում է բանալիների սերվեր

  gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
  gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net

• Անձնական բանալի ստանալը

  gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
  -----BEGIN PGP PRIVATE KEY BLOCK-----
  lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5
  ...
  =2Wd2
  -----END PGP PRIVATE KEY BLOCK-----

• Գնացեք նախագծի կարգավորումներ -> Կարգավորումներ -> CI / CD -> Փոփոխականներ և պահեք անձնական բանալին փոփոխականում: GPG_SECRET_KEY
  

Վերադարձ դեպի բովանդակություն

Maven-ի կարգավորում

• Ստեղծեք հիմնական բանալի

  mvn --encrypt-master-password password
  {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}

• Գնացեք նախագծի կարգավորումներ -> Կարգավորումներ -> CI / CD -> Փոփոխականներ և պահեք փոփոխականում SETTINGS_SECURITY_XML հետևյալ տողերը.

  <settingsSecurity>
  <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
  </settingsSecurity>

• Գաղտնաբառի գաղտնագրում Sonatype հաշվից

  mvn --encrypt-password SONATYPE_PASSWORD
  {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}

• Գնացեք նախագծի կարգավորումներ -> Կարգավորումներ -> CI / CD -> Փոփոխականներ և պահեք փոփոխականում SETTINGS_XML հետևյալ տողերը.

  <settings>  
  <profiles>
      <profile>
          <id>env</id>
          <activation>
              <activeByDefault>true</activeByDefault>
          </activation>
          <properties>
              <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
          </properties>
      </profile>
  </profiles>
  <servers>
      <server>
          <id>sonatype</id>
          <username>sonatype_username</username>
          <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
      </server>
  </servers>
  </settings>

Որտեղ,
GPG_SECRET_KEY_PASSPHRASE - GPG բանալի գաղտնաբառ
SONATYPE_USERNAME - sonatype հաշվի մուտք

Վերադարձ դեպի բովանդակություն

Տեղադրեք դոկերի պատկերը

• Մենք ստեղծում ենք բավականին պարզ Dockerfile՝ Java-ի ցանկալի տարբերակով առաջադրանքները գործարկելու համար: Ստորև բերված է ալպիական օրինակ:

  FROM java:8u111-jdk-alpine
  RUN apk add gnupg maven git --update-cache 
  --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && 
  mkdir ~/.m2/

• Ձեր նախագծի համար կոնտեյների կառուցում

  docker build -t registry.gitlab.com/group/deploy .

• Մենք նույնականացնում և բեռնում ենք բեռնարկղը գրանցամատյանում:

  docker login -u USER -p PASSWORD registry.gitlab.com
  docker push registry.gitlab.com/group/deploy

Վերադարձ դեպի բովանդակություն

GitLab CI

Տեղադրել նախագիծը

Ավելացրեք .gitlab-ci.yml ֆայլը տեղակայման նախագծի արմատին
Սցենարը ներկայացնում է երկու միմյանց բացառող տեղակայման առաջադրանքներ: Specific Runner կամ Shared Runner համապատասխանաբար:

.gitlab-ci.yml

stages:
  - deploy

Specific Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на вашем shell-раннере
  tags:
    - deploy

Shared Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на публичном docker-раннере
  tags:
    - docker
  # Образ из раздела GitLab Runner -> Shared Runner -> Docker
  image: registry.gitlab.com/group/deploy-project:latest
  before_script:
    # Импортируем GPG ключ
    - printf "${GPG_SECRET_KEY}" | gpg --batch --import
    # Сохраняем maven конфигурацию
    - printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
    - printf "${SETTINGS_XML}" > ~/.m2/settings.xml

.java_deploy_template:
  stage: deploy
  # Задача сработает по триггеру, если передана переменная DEPLOY со значением java
  only:
    variables:
    - $DEPLOY == "java"
  variables:
    # отключаем клонирование текущего проекта
    GIT_STRATEGY: none
  script:
    # Предоставляем возможность хранения пароля в незашифрованном виде
    - git config --global credential.helper store
    # Сохраняем временные креды пользователя gitlab-ci-token
    # Токен работает для всех публичных проектов gitlab.com и для проектов группы
    - echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
    # Полностью чистим текущую директорию
    - rm -rf .* *
    # Клонируем проект который, будем деплоить в Sonatype Nexus
    - git clone ${DEPLOY_CI_REPOSITORY_URL} .
    # Переключаемся на нужный коммит
    - git checkout ${DEPLOY_CI_COMMIT_SHA} -f
    # Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
    # В противном случае есть риск залить сырые артефакты в maven central
    - >
      for pom in $(find . -name pom.xml); do
        if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
          echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
          exit 1;
        fi;
      done
    # Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
    - >
      if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
        mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
      else
        VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
        if [[ "${VERSION}" == *-SNAPSHOT ]]; then
          mvn versions:set -DnewVersion=${VERSION}
        else
          mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
        fi
      fi
    # Запускаем задачу на сборку и деплой артефактов
    - mvn clean deploy -DskipTests=true

Վերադարձ դեպի բովանդակություն

Java նախագիծ

Java նախագծերում, որոնք ենթադրաբար պետք է վերբեռնվեն հանրային պահեստներ, դուք պետք է ավելացնեք 2 քայլ՝ Release և Snapshot տարբերակները ներբեռնելու համար։

.gitlab-ci.yml

stages:
  - build
  - test
  - verify
  - deploy

<...>

Release:
  extends: .trigger_deploy
  # Запускать задачу только пo тегу.
  only:
    - tags

Snapshot:
  extends: .trigger_deploy
  # Запускаем задачу на публикацию SNAPSHOT версии вручную
  when: manual
  # Не запускать задачу, если проставлен тег.
  except:
    - tags

.trigger_deploy:
  stage: deploy
  variables:
    # Отключаем клонирование текущего проекта
    GIT_STRATEGY: none
    # Ссылка на триггер deploy-задачи
    URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
    # Переменные deploy-задачи
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
    # Не использую cURL, так как с флагами --fail --show-error
    # он не выводит тело ответа, если HTTP код 400 и более 
    - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

Այս լուծման մեջ ես մի փոքր առաջ գնացի և որոշեցի օգտագործել մեկ CI ձևանմուշ java նախագծերի համար:

Մանրամասները

Ստեղծեցի առանձին նախագիծ gitlab-ci որում նա տեղադրեց CI կաղապարը java նախագծերի համար ընդհանուր.yml.

ընդհանուր.yml

stages:
  - build
  - test
  - verify
  - deploy

variables:
  SONAR_ARGS: "
  -Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA} 
  -Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME} 
  "

.build_java_project:
  stage: build
  tags:
    - touchbit-shell
  variables:
    SKIP_TEST: "false"
  script:
    - mvn clean
    - mvn package -DskipTests=${SKIP_TEST}
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.build_sphinx_doc:
  stage: build
  tags:
    - touchbit-shell
  variables:
    DOCKERFILE: .indirect/docs/Dockerfile
  script:
    - docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .

.junit_module_test_run:
  stage: test
  tags:
    - touchbit-shell
  variables:
    MODULE: ""
  script:
    - cd ${MODULE}
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.junit_test_run:
  stage: test
  tags:
    - touchbit-shell
  script:
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
    - "*/target/reports"

.sonar_review:
  stage: verify
  tags:
    - touchbit-shell
  dependencies: []
  script:
    - >
      if [ "$CI_BUILD_REF_NAME" == "master" ]; then
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
      else
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
      fi

.trigger_deploy:
  stage: deploy
  tags:
    - touchbit-shell
  variables:
    URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
  - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

.trigger_release_deploy:
  extends: .trigger_deploy
  only:
    - tags

.trigger_snapshot_deploy:
  extends: .trigger_deploy
  when: manual
  except:
    - tags

Արդյունքում, հենց java նախագծերում .gitlab-ci.yml-ը շատ կոմպակտ տեսք ունի և ոչ բազմակողմանի:

.gitlab-ci.yml

include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml

Shields4J:
  extends: .build_java_project

Sphinx doc:
  extends: .build_sphinx_doc
  variables:
    DOCKERFILE: .docs/Dockerfile

Sonar review:
  extends: .sonar_review
  dependencies:
    - Shields4J

Release:
  extends: .trigger_release_deploy

Snapshot:
  extends: .trigger_snapshot_deploy

Վերադարձ դեպի բովանդակություն

pom.xml կոնֆիգուրացիա

Այս թեման նկարագրված է շատ մանրամասն: Գուգոլպլեքս в Maven-ի կարգավորում՝ ինքնաբերաբար ստորագրելու և արտեֆակտները ներբեռնելու պատկերների և բեմադրության պահոցներում, այնպես որ ես նկարագրելու եմ պլագինների օգտագործման որոշ նրբերանգներ: Ես նաև նկարագրելու եմ, թե որքան հեշտությամբ և բնականաբար կարող եք օգտագործել nexus-staging-maven-pluginեթե դուք չեք ցանկանում կամ չեք կարող օգտագործել org.sonatype.oss:oss-parent որպես ձեր նախագծի ծնող:

maven-install-plugin

Տեղադրում է մոդուլներ տեղական պահեստում:
Շատ օգտակար է այլ նախագծերում լուծումների տեղական ստուգման համար, ինչպես նաև ստուգիչ գումար:

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-install-plugin</artifactId>
  <executions>
    <execution>
      <id>install-project</id>
      <!-- Если у вас многомодульный проект с деплоем родительского помика -->
      <phase>install</phase>
      <!-- Явно указываем файлы для локальной установки -->
      <configuration>
        <file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
        <pomFile>dependency-reduced-pom.xml</pomFile>
        <!-- Принудительное обновление метаданных проекта -->
        <updateReleaseInfo>true</updateReleaseInfo>
        <!-- Контрольные суммы для проверки целостности -->
        <createChecksum>true</createChecksum>
      </configuration>
    </execution>
  </executions>
</plugin>

Վերադարձ դեպի բովանդակություն

maven-javadoc-plugin

Ծրագրի համար Javadoc-ի ստեղծում:

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-javadoc-plugin</artifactId>
  <executions>
    <execution>
      <goals>
        <goal>jar</goal>
      </goals>
      <!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
      <phase>prepare-package</phase>
      <configuration>
        <!-- Очень помогает в публичных проектах -->
        <failOnError>true</failOnError>
        <failOnWarnings>true</failOnWarnings>
        <!-- Убирает ошибку поиска документации в target директории -->
        <detectOfflineLinks>false</detectOfflineLinks>
      </configuration>
    </execution>
  </executions>
</plugin>

Եթե ​​ունեք մոդուլ, որը չի պարունակում java (օրինակ՝ միայն ռեսուրսներ)
Կամ դուք չեք ուզում սկզբունքորեն javadoc գեներացնել, հետո օգնել maven-jar-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-jar-plugin</artifactId>
  <executions>
    <execution>
      <id>empty-javadoc-jar</id>
      <phase>generate-resources</phase>
      <goals>
        <goal>jar</goal>
      </goals>
      <configuration>
        <classifier>javadoc</classifier>
        <classesDirectory>${basedir}/javadoc</classesDirectory>
      </configuration>
    </execution>
  </executions>
</plugin>

Վերադարձ դեպի բովանդակություն

maven-gpg-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-gpg-plugin</artifactId>
  <executions>
    <execution>
      <id>sign-artifacts</id>
      <!-- Сборка будет падать, если отсутствует GPG ключ -->
      <!-- Подписываем артефакты только на фазе deploy -->
      <phase>deploy</phase>
      <goals>
        <goal>sign</goal>
      </goals>
    </execution>
  </executions>
</plugin>

Վերադարձ դեպի բովանդակություն

nexus-staging-maven-plugin

Կոնֆիգուրացիա:

<project>
  <!-- ... -->
  <build>
    <plugins>
      <!-- ... -->
      <plugin>
        <groupId>org.sonatype.plugins</groupId>
        <artifactId>nexus-staging-maven-plugin</artifactId>
      </plugin>
    </plugins>
    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.sonatype.plugins</groupId>
          <artifactId>nexus-staging-maven-plugin</artifactId>
          <extensions>true</extensions>
          <configuration>
            <serverId>sonatype</serverId>
            <nexusUrl>https://oss.sonatype.org/</nexusUrl>
            <!-- Обновляем метаданные, чтобы пометить артефакт как release -->
            <!-- Не влияет на snapshot версии -->
            <updateReleaseInfo>true</updateReleaseInfo>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-deploy-plugin</artifactId>
          <configuration>
            <!-- Отключаем плагин -->
            <skip>true</skip>
          </configuration>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
  <distributionManagement>
    <snapshotRepository>
      <id>sonatype</id>
      <name>Nexus Snapshot Repository</name>
      <url>https://oss.sonatype.org/content/repositories/snapshots/</url>
    </snapshotRepository>
    <repository>
      <id>sonatype</id>
      <name>Nexus Release Repository</name>
      <url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
    </repository>
  </distributionManagement>
</project>

Եթե ​​դուք ունեք բազմամոդուլային նախագիծ, և ձեզ հարկավոր չէ հատուկ մոդուլ վերբեռնել պահեստարան, ապա պետք է ավելացնեք այս մոդուլի pom.xml-ին: nexus-staging-maven-plugin դրոշով skipNexusStagingDeployMojo

<build>
  <plugins>
    <plugin>
      <groupId>org.sonatype.plugins</groupId>
      <artifactId>nexus-staging-maven-plugin</artifactId>
      <configuration>
        <skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
      </configuration>
    </plugin>
  </plugins>
</build>

Պատկերի/թողարկման տարբերակները բեռնելուց հետո հասանելի են բեմադրող պահոցներ

<repositories>
  <repository>
    <id>SonatypeNexus</id>
    <url>https://oss.sonatype.org/content/groups/staging/</url>
    <!-- Не надо указывать флаги snapshot/release для репозитория -->
  </repository>
</repositories>

Ավելի շատ առավելություններ

• Nexus պահեստի հետ աշխատելու թիրախների շատ հարուստ ցանկ (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
• Ավտոմատ թողարկման ստուգում maven Central-ում ներբեռնման համար

Վերադարձ դեպի բովանդակություն

Արդյունք

SNAPSHOT տարբերակի հրապարակում

Նախագիծ կառուցելիս հնարավոր է ձեռքով առաջադրանք սկսել՝ SNAPSHOT տարբերակը nexus-ում ներբեռնելու համար

Երբ այս առաջադրանքը գործարկվում է, գործարկվում է տեղակայման նախագծի համապատասխան առաջադրանքը (օրինակ).

կտրված գերան

Running with gitlab-runner 11.10.0 (3001a600)
  on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
  git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0                                           [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO] 
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO]     Updating project org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:client
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:test-core
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:testng
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:client
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT                                  [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO]  * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [  2.375 s]
[INFO] test-core .......................................... SUCCESS [  3.929 s]
[INFO] Shields4J client ................................... SUCCESS [  3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------

Արդյունքում, nexus տարբերակը բեռնված է 1.0.0-SNAPSHOT.

Բոլոր snapshot տարբերակները կարող են հեռացվել կայքի պահոցից oss.sonatype.org ձեր հաշվի տակ:

Վերադարձ դեպի բովանդակություն

Թողարկման տարբերակի հրապարակում

Երբ պիտակը սահմանվում է, տեղակայման նախագծի համապատասխան առաջադրանքը ավտոմատ կերպով գործարկվում է թողարկման տարբերակը ներբեռնելու համար nexus (օրինակ).

Լավագույնն այն է, որ փակ թողարկումը ավտոմատ կերպով գործարկվում է nexus-ում:

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1037".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  9.603 s]
[INFO] test-core .......................................... SUCCESS [  3.419 s]
[INFO] Shields4J client ................................... SUCCESS [  9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------

Եվ եթե ինչ-որ բան սխալ է տեղի ունեցել, ապա խնդիրը չի հաջողվի

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1038".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR] 
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR] 
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR]   Rule "signature-staging" failures
[ERROR]     * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  4.073 s]
[INFO] test-core .......................................... SUCCESS [  2.788 s]
[INFO] Shields4J client ................................... SUCCESS [  3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------

Արդյունքում մեզ մնում է միայն մեկ ընտրություն. Կամ ջնջեք այս տարբերակը կամ հրապարակեք:

Թողարկումից հետո որոշ ժամանակ անց արտեֆակտները կլինեն

թեմայից դուրս

Ինձ համար բացահայտում էր, որ maven-ը ինդեքսավորում է այլ հանրային պահեստներ:
Ես ստիպված էի վերբեռնել robots.txt-ը, քանի որ այն ինդեքսավորեց իմ հին պահեստը:

Վերադարձ դեպի բովանդակություն

Ամփոփում

Այն, ինչ ունենք

• Առանձին տեղակայման նախագիծ, որում դուք կարող եք իրականացնել մի քանի CI առաջադրանքներ՝ արտեֆակտները ներբեռնելու տարբեր մշակման լեզուների հանրային պահեստներ:
• Տեղակայման նախագիծը մեկուսացված է արտաքին միջամտությունից և կարող է փոփոխվել միայն սեփականատեր և սպասարկող դերերով օգտվողների կողմից:
• Առանձին Specific Runner՝ «թեժ» քեշով՝ միայն առաջադրանքների տեղակայման համար:
• Պատկերի/թողարկման տարբերակների հրապարակում հանրային պահոցում:
• Թողարկման տարբերակի ավտոմատ ստուգում Maven Central-ում հրապարակման պատրաստ լինելու համար:
• Պաշտպանություն Maven Central-ում «հում» տարբերակների ավտոմատ հրապարակումից:
• Կառուցեք և հրապարակեք ակնթարթային տարբերակները «սեղմումով»:
• Մեկ պահոց՝ լուսապատկերների/թողարկման տարբերակներ ստանալու համար:
• Ընդհանուր խողովակաշար java նախագծի կառուցման / փորձարկման / հրապարակման համար:

GitLab CI-ի կարգավորումն այնքան էլ բարդ թեմա չէ, որքան թվում է առաջին հայացքից: Բավական է մի քանի անգամ CI-ն կարգավորել բանտապահով, և այժմ դուք հեռու եք այս հարցում սիրողական լինելուց: Ավելին, GitLab-ի փաստաթղթերը շատ ավելորդ են: Մի վախեցեք առաջին քայլն անել. Ճանապարհը հայտնվում է քայլող մարդու քայլերի տակ (չեմ հիշում, թե ով է ասել :)

Ես ուրախ կլինեմ արձագանքել:

Հաջորդ հոդվածում ես ձեզ ցույց կտամ, թե ինչպես կարգավորել GitLab CI-ն, որպեսզի մրցակցային կերպով կատարի ինտեգրման թեստային առաջադրանքները (փորձարկման ծառայություններ docker-compose-ով), եթե ունեք միայն մեկ shell runner:

Վերադարձ դեպի բովանդակություն

Source: www.habr.com