הגדרת GitLab CI להעלאת פרויקט Java ל-maven central

מאמר זה מיועד למפתחי ג'אווה שיש להם צורך לפרסם במהירות את המוצרים שלהם במאגרים מרכזיים של sonatype ו/או מאבן באמצעות GitLab. במאמר זה אדבר על הגדרת gitlab-runner, gitlab-ci ו-maven-plugin כדי לפתור בעיה זו.

דרישות מוקדמות:

• אחסון מאובטח של מפתחות mvn ו-GPG.
• ביצוע מאובטח של משימות CI ציבוריות.
• העלאת חפצים (שחרור/תמונת מצב) למאגרים ציבוריים.
• בדיקה אוטומטית של גרסאות שחרור לפרסום ב-maven central.
• פתרון כללי להעלאת חפצים למאגר עבור מספר פרויקטים.
• פשטות וקלות שימוש.

תוכן

• מידע כללי
• הגדרת פריסת פרויקט ב- GitLab
• GitLab Runner
  • רץ ספציפי
    • מתקין gitlab ראנר
    • יצירת מפתחות GPG
    • הקמת Maven
  • רץ משותף
    • יצירת מפתחות GPG
    • הקמת Maven
    • פרוס תמונת docker
• GitLab CI
  • פרוס פרויקט
  • פרויקט Java
• תצורת Pom.xml
  • תוסף maven-install
  • תוסף maven-javadoc
  • maven-gpg-plugin
  • nexus-staging-maven-plugin
• תוצאה
  • פרסום גרסת תמונת מצב
  • פרסום גרסת מהדורה
• מסקנה

מידע כללי

• תיאור מפורט של המנגנון לפרסום חפצים ב-Maven Central באמצעות Sonatype OSS Repository Hosting Service כבר תואר ב- המאמר הזה על ידי המשתמש גוגלפולקס, אז אתייחס למאמר זה במקומות הנכונים.
• הרשמה מראש ל סונטיפ JIRA ופתח כרטיס לפתיחת המאגר (קרא את הסעיף לפרטים נוספים צור כרטיס ב-Sonatype JIRA). לאחר פתיחת המאגר, צמד הכניסה/סיסמה מ-JIRA (להלן כחשבון Sonatype) ישמש להעלאת חפצים ל-Sonatype nexus.
• לאחר מכן, תהליך יצירת מפתח GPG מתואר בצורה יבשה מאוד. ראה סעיף לפרטים נוספים הגדרת GnuPG לחתום על חפצים
• אם אתה משתמש בקונסולת לינוקס כדי ליצור מפתח GPG (gnupg/gnupg2), עליך להתקין כלים rng ליצור אנטרופיה. אחרת, יצירת מפתחות עשויה להימשך זמן רב מאוד.
• שירותי אחסון ציבורי מפתחות GPG
  • http://keys.gnupg.net
  • http://pool.sks-keyservers.net
  • http://keyserver.ubuntu.com

לתוכן

הגדרת פרויקט פריסה ב-GitLab

• קודם כל, עליך ליצור ולהגדיר פרויקט שבו הצינור יאוחסן לצורך פריסת חפצים. קראתי לפרויקט שלי בפשטות ובצורה לא מסובכת - לפרוס
• לאחר יצירת המאגר, עליך להגביל את הגישה כדי לשנות את המאגר.
  עבור לפרויקט -> הגדרות -> מאגר -> סניפים מוגנים. אנו מוחקים את כל הכללים ומוסיפים כלל בודד עם Wildcard * עם הזכות לדחוף ולמזג רק עבור משתמשים בעלי תפקיד Maintainers. כלל זה יעבוד עבור כל המשתמשים הן בפרויקט הזה והן בקבוצה שאליה הפרויקט הזה שייך.
  
• אם יש כמה מתחזקים, אז הפתרון הטוב ביותר יהיה להגביל את הגישה לפרויקט באופן עקרוני.
  עבור אל פרויקט -> הגדרות -> כללי -> נראות, תכונות פרויקט, הרשאות והגדר את נראות הפרויקט ל פְּרָטִי.
  יש לי פרויקט נגיש לציבור, מכיוון שאני משתמש ב-GitLab Runner משלי ורק לי יש גישה לשנות את המאגר. ובכן, למעשה, זה לא האינטרס שלי להציג מידע פרטי ביומני צנרת ציבוריים.
• החמרת הכללים לשינוי המאגר
  עבור אל הפרויקט -> הגדרות -> מאגר -> Push Rules והגדר את הגבלת Committer, בדוק אם המחבר הוא דגלים של משתמש GitLab. אני גם ממליץ להגדיר להתחייב חתימה, והגדר את הדגל 'דחה התחייבויות לא חתומות'.
• לאחר מכן עליך להגדיר טריגר להפעלת משימות
  עבור לפרויקט -> הגדרות -> CI / CD -> מפעילי צינור וצור אסימון טריגר חדש
  ניתן להוסיף אסימון זה באופן מיידי לתצורה הכללית של משתנים עבור קבוצת פרויקטים.
  עבור לקבוצה -> הגדרות -> CI / CD -> משתנים והוסף משתנה DEPLOY_TOKEN עם טריגר טוקן בערך.

לתוכן

GitLab Runner

סעיף זה מתאר את התצורה להפעלת משימות בפריסה באמצעות רץ משלך (ספציפי) וציבורי (משותף).

רץ ספציפי

אני משתמש ברצים משלי כי קודם כל זה נוח, מהיר וזול.
עבור רץ, אני ממליץ על Linux VDS עם 1 CPU, 2 GB RAM, 20 GB HDD. המחיר המבוקש הוא ~3000₽ לשנה.

הרץ שלי

עבור הרץ לקחתי VDS 4 CPU, 4 GB RAM, 50 GB SSD. עלה ~11000₽ ומעולם לא התחרט.
יש לי בסך הכל 7 מכונות. 5 על ארובה ו-2 על ihor.

אז יש לנו רץ. עכשיו נגדיר את זה.
אנחנו הולכים למכונה דרך SSH ומתקינים java, git, maven, gnupg2.

לתוכן

מתקין gitlab ראנר

• צור קבוצה חדשה runner

  sudo groupadd runner

• צור ספרייה עבור המטמון של maven והקצה הרשאות לקבוצה runner
  אתה יכול לדלג על נקודה זו אם אינך מתכנן להפעיל מספר רצים על מכונה אחת.

  mkdir -p /usr/cache/.m2/repository
  chown -R :runner /usr/cache
  chmod -R 770 /usr/cache

• צור משתמש gitlab-deployer ולהוסיף לקבוצה runner

  useradd -m -d /home/gitlab-deployer gitlab-deployer
  usermod -a -G runner gitlab-deployer

• הוסף לקובץ /etc/ssh/sshd_config השורה הבאה

  AllowUsers root@* [email protected]

• לְאַתחֵל sshd

  systemctl restart sshd

• הגדרת סיסמה למשתמש gitlab-deployer (יכול להיות פשוט, מכיוון שיש הגבלה עבור localhost)

  passwd gitlab-deployer

• התקן את GitLab Runner (Linux x86-64)

  sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64
  sudo chmod +x /usr/local/bin/gitlab-runner
  ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner
  ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner

• עבור לאתר gitlab.com -> deploy-project -> הגדרות -> CI/CD -> רצים -> רצים ספציפיים והעתק את אסימון הרישום

מָסָך

• רישום רץ

  gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml

תהליך

Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded                     runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

• אנחנו בודקים שהרץ רשום. עבור לאתר gitlab.com -> deploy-project -> הגדרות -> CI/CD -> רצים -> רצים ספציפיים -> רצים שהופעלו עבור פרויקט זה

מָסָך

• הוסף נפרד שרות /etc/systemd/system/gitlab-deployer.service

  [Unit]
  Description=GitLab Deploy Runner
  After=syslog.target network.target
  ConditionFileIsExecutable=/usr/local/bin/gitlab-runner
  [Service]
  StartLimitInterval=5
  StartLimitBurst=10
  ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer"
  Restart=always
  RestartSec=120
  [Install]
  WantedBy=multi-user.target

• בואו נתחיל את השירות.

  systemctl enable gitlab-deployer.service
  systemctl start gitlab-deployer.service
  systemctl status gitlab-deployer.service

• אנחנו בודקים שהרץ רץ.

דוגמה

לתוכן

יצירת מפתחות GPG

• מאותה מכונה אנחנו נכנסים דרך ssh מתחת למשתמש gitlab-deployer (זה חשוב ליצירת מפתח GPG)

  ssh [email protected]

• אנו יוצרים מפתח על ידי מענה על שאלות. השתמשתי בשם ובמייל הפרטי שלי.
  הקפד לציין את הסיסמה עבור המפתח. חפצים ייחתמו עם מפתח זה.

  gpg --gen-key 

• בדוק

  gpg --list-keys -a
  /home/gitlab-deployer/.gnupg/pubring.gpg
  ----------------------------------------
  pub   4096R/00000000 2019-04-19
  uid                  Petruha Petrov <[email protected]>
  sub   4096R/11111111 2019-04-19

• העלאת המפתח הציבורי שלנו לשרת המפתחות

  gpg --keyserver keys.gnupg.net --send-key 00000000
  gpg: sending key 00000000 to hkp server keys.gnupg.net

לתוכן

הקמת Maven

• התחבר כמשתמש gitlab-deployer

  su gitlab-deployer 

• צור ספריית מייבן מאגר וקישור למטמון (אל תטעו)
  אתה יכול לדלג על נקודה זו אם אינך מתכנן להפעיל מספר רצים על מכונה אחת.

  mkdir -p ~/.m2/repository
  ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository

• צור מפתח מאסטר

  mvn --encrypt-master-password password
  {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}

• צור קובץ ~/.m2/settings-security.xml

  <settingsSecurity>
  <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
  </settingsSecurity>

• הצפנת הסיסמה עבור חשבון Sonatype

  mvn --encrypt-password SONATYPE_PASSWORD
  {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}

• צור קובץ ~/.m2/settings.xml

  <settings>  
  <profiles>
      <profile>
          <id>env</id>
          <activation>
              <activeByDefault>true</activeByDefault>
          </activation>
          <properties>
              <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
          </properties>
      </profile>
  </profiles>
  <servers>
      <server>
          <id>sonatype</id>
          <username>SONATYPE_USERNAME</username>
          <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
      </server>
  </servers>
  </settings>

איפה
GPG_SECRET_KEY_PASSPHRASE - סיסמה עבור מפתח GPG
SONATYPE_USERNAME - התחברות לחשבון sonatype

זה משלים את ההגדרה של הרץ, אתה יכול להמשיך לקטע GitLab CI

לתוכן

רץ משותף

יצירת מפתחות GPG

• קודם כל, עליך ליצור מפתח GPG. כדי לעשות זאת, התקן את gnupg.

  yum install -y gnupg

• אנו יוצרים מפתח על ידי מענה על שאלות. השתמשתי בשם ובמייל הפרטי שלי. הקפד לציין את הסיסמה עבור המפתח.

  gpg --gen-key 

• הצגת מידע על המפתח

  gpg --list-keys -a
  pub   rsa3072 2019-04-24 [SC] [expires: 2021-04-23]
    2D0D1706366FC4AEF79669E24D09C55BBA3FD728
  uid           [ultimate] tttemp <[email protected]>
  sub   rsa3072 2019-04-24 [E] [expires: none]

• העלאת המפתח הציבורי שלנו לשרת המפתחות

  gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
  gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net

• אנחנו מקבלים את המפתח הפרטי

  gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
  -----BEGIN PGP PRIVATE KEY BLOCK-----
  lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5
  ...
  =2Wd2
  -----END PGP PRIVATE KEY BLOCK-----

• עבור להגדרות הפרויקט -> הגדרות -> CI / CD -> משתנים ושמור את המפתח הפרטי במשתנה GPG_SECRET_KEY
  

לתוכן

הקמת Maven

• צור מפתח מאסטר

  mvn --encrypt-master-password password
  {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}

• עבור להגדרות פרויקט -> הגדרות -> CI / CD -> משתנים ושמור במשתנה SETTINGS_SECURITY_XML את השורות הבאות:

  <settingsSecurity>
  <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
  </settingsSecurity>

• הצפנת הסיסמה עבור חשבון Sonatype

  mvn --encrypt-password SONATYPE_PASSWORD
  {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}

• עבור להגדרות פרויקט -> הגדרות -> CI / CD -> משתנים ושמור במשתנה SETTINGS_XML את השורות הבאות:

  <settings>  
  <profiles>
      <profile>
          <id>env</id>
          <activation>
              <activeByDefault>true</activeByDefault>
          </activation>
          <properties>
              <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
          </properties>
      </profile>
  </profiles>
  <servers>
      <server>
          <id>sonatype</id>
          <username>sonatype_username</username>
          <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
      </server>
  </servers>
  </settings>

איפה
GPG_SECRET_KEY_PASSPHRASE - סיסמה עבור מפתח GPG
SONATYPE_USERNAME - התחברות לחשבון sonatype

לתוכן

פרוס תמונת docker

• אנו יוצרים Dockerfile פשוט למדי להפעלת משימות פריסה עם הגרסה הנדרשת של Java. להלן דוגמה לאלפינית.

  FROM java:8u111-jdk-alpine
  RUN apk add gnupg maven git --update-cache 
  --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && 
  mkdir ~/.m2/

• הרכבת מיכל לפרויקט שלך

  docker build -t registry.gitlab.com/group/deploy .

• אנו מאמתים ומטעינים את המיכל לרישום.

  docker login -u USER -p PASSWORD registry.gitlab.com
  docker push registry.gitlab.com/group/deploy

לתוכן

GitLab CI

פרוס פרויקט

הוסף את הקובץ .gitlab-ci.yml לשורש פרויקט הפריסה
התסריט מציג שתי משימות פריסה בלעדיות הדדית. רץ ספציפי או רץ משותף בהתאמה.

.gitlab-ci.yml

stages:
  - deploy

Specific Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на вашем shell-раннере
  tags:
    - deploy

Shared Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на публичном docker-раннере
  tags:
    - docker
  # Образ из раздела GitLab Runner -> Shared Runner -> Docker
  image: registry.gitlab.com/group/deploy-project:latest
  before_script:
    # Импортируем GPG ключ
    - printf "${GPG_SECRET_KEY}" | gpg --batch --import
    # Сохраняем maven конфигурацию
    - printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
    - printf "${SETTINGS_XML}" > ~/.m2/settings.xml

.java_deploy_template:
  stage: deploy
  # Задача сработает по триггеру, если передана переменная DEPLOY со значением java
  only:
    variables:
    - $DEPLOY == "java"
  variables:
    # отключаем клонирование текущего проекта
    GIT_STRATEGY: none
  script:
    # Предоставляем возможность хранения пароля в незашифрованном виде
    - git config --global credential.helper store
    # Сохраняем временные креды пользователя gitlab-ci-token
    # Токен работает для всех публичных проектов gitlab.com и для проектов группы
    - echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
    # Полностью чистим текущую директорию
    - rm -rf .* *
    # Клонируем проект который, будем деплоить в Sonatype Nexus
    - git clone ${DEPLOY_CI_REPOSITORY_URL} .
    # Переключаемся на нужный коммит
    - git checkout ${DEPLOY_CI_COMMIT_SHA} -f
    # Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
    # В противном случае есть риск залить сырые артефакты в maven central
    - >
      for pom in $(find . -name pom.xml); do
        if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
          echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
          exit 1;
        fi;
      done
    # Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
    - >
      if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
        mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
      else
        VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
        if [[ "${VERSION}" == *-SNAPSHOT ]]; then
          mvn versions:set -DnewVersion=${VERSION}
        else
          mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
        fi
      fi
    # Запускаем задачу на сборку и деплой артефактов
    - mvn clean deploy -DskipTests=true

לתוכן

פרויקט Java

בפרויקטים של java שאמורים להעלות למאגרים ציבוריים, עליך להוסיף 2 שלבים להורדת גרסאות ה-Release ו-Snapshot.

.gitlab-ci.yml

stages:
  - build
  - test
  - verify
  - deploy

<...>

Release:
  extends: .trigger_deploy
  # Запускать задачу только пo тегу.
  only:
    - tags

Snapshot:
  extends: .trigger_deploy
  # Запускаем задачу на публикацию SNAPSHOT версии вручную
  when: manual
  # Не запускать задачу, если проставлен тег.
  except:
    - tags

.trigger_deploy:
  stage: deploy
  variables:
    # Отключаем клонирование текущего проекта
    GIT_STRATEGY: none
    # Ссылка на триггер deploy-задачи
    URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
    # Переменные deploy-задачи
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
    # Не использую cURL, так как с флагами --fail --show-error
    # он не выводит тело ответа, если HTTP код 400 и более 
    - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

בפתרון הזה, הלכתי קצת יותר רחוק והחלטתי להשתמש בתבנית CI אחת עבור פרויקטי Java.

פרטים נוספים

יצרתי פרויקט נפרד gitlab-ci בה הנחתי תבנית CI עבור פרויקטי Java common.yml.

common.yml

stages:
  - build
  - test
  - verify
  - deploy

variables:
  SONAR_ARGS: "
  -Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA} 
  -Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME} 
  "

.build_java_project:
  stage: build
  tags:
    - touchbit-shell
  variables:
    SKIP_TEST: "false"
  script:
    - mvn clean
    - mvn package -DskipTests=${SKIP_TEST}
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.build_sphinx_doc:
  stage: build
  tags:
    - touchbit-shell
  variables:
    DOCKERFILE: .indirect/docs/Dockerfile
  script:
    - docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .

.junit_module_test_run:
  stage: test
  tags:
    - touchbit-shell
  variables:
    MODULE: ""
  script:
    - cd ${MODULE}
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.junit_test_run:
  stage: test
  tags:
    - touchbit-shell
  script:
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
    - "*/target/reports"

.sonar_review:
  stage: verify
  tags:
    - touchbit-shell
  dependencies: []
  script:
    - >
      if [ "$CI_BUILD_REF_NAME" == "master" ]; then
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
      else
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
      fi

.trigger_deploy:
  stage: deploy
  tags:
    - touchbit-shell
  variables:
    URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
  - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

.trigger_release_deploy:
  extends: .trigger_deploy
  only:
    - tags

.trigger_snapshot_deploy:
  extends: .trigger_deploy
  when: manual
  except:
    - tags

כתוצאה מכך, בפרויקטי ה-Java עצמם, .gitlab-ci.yml נראה קומפקטי מאוד ולא מילולי

.gitlab-ci.yml

include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml

Shields4J:
  extends: .build_java_project

Sphinx doc:
  extends: .build_sphinx_doc
  variables:
    DOCKERFILE: .docs/Dockerfile

Sonar review:
  extends: .sonar_review
  dependencies:
    - Shields4J

Release:
  extends: .trigger_release_deploy

Snapshot:
  extends: .trigger_snapshot_deploy

לתוכן

תצורת Pom.xml

נושא זה מתואר בפירוט רב. גוגלפולקס в הגדרת maven לחתימה אוטומטית ולהעלאת חפצים למאגרי תצלומי מצב ומאגרים, אז אתאר כמה מהניואנסים של שימוש בתוספים. אני גם אתאר כמה קל ונינוח אתה יכול להשתמש nexus-staging-maven-pluginאם אינך רוצה או לא יכול להשתמש ב-org.sonatype.oss:oss-parent כהורה עבור הפרויקט שלך.

תוסף maven-install

מתקין מודולים במאגר המקומי.
שימושי מאוד עבור אימות מקומי של פתרונות בפרויקטים אחרים, כמו גם בדיקת סכום.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-install-plugin</artifactId>
  <executions>
    <execution>
      <id>install-project</id>
      <!-- Если у вас многомодульный проект с деплоем родительского помика -->
      <phase>install</phase>
      <!-- Явно указываем файлы для локальной установки -->
      <configuration>
        <file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
        <pomFile>dependency-reduced-pom.xml</pomFile>
        <!-- Принудительное обновление метаданных проекта -->
        <updateReleaseInfo>true</updateReleaseInfo>
        <!-- Контрольные суммы для проверки целостности -->
        <createChecksum>true</createChecksum>
      </configuration>
    </execution>
  </executions>
</plugin>

לתוכן

תוסף maven-javadoc

יצירת javadoc עבור הפרויקט.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-javadoc-plugin</artifactId>
  <executions>
    <execution>
      <goals>
        <goal>jar</goal>
      </goals>
      <!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
      <phase>prepare-package</phase>
      <configuration>
        <!-- Очень помогает в публичных проектах -->
        <failOnError>true</failOnError>
        <failOnWarnings>true</failOnWarnings>
        <!-- Убирает ошибку поиска документации в target директории -->
        <detectOfflineLinks>false</detectOfflineLinks>
      </configuration>
    </execution>
  </executions>
</plugin>

אם יש לך מודול שאינו מכיל Java (לדוגמה רק משאבים)
או שאתה לא רוצה ליצור javadoc באופן עקרוני, אז תעזור maven-jar-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-jar-plugin</artifactId>
  <executions>
    <execution>
      <id>empty-javadoc-jar</id>
      <phase>generate-resources</phase>
      <goals>
        <goal>jar</goal>
      </goals>
      <configuration>
        <classifier>javadoc</classifier>
        <classesDirectory>${basedir}/javadoc</classesDirectory>
      </configuration>
    </execution>
  </executions>
</plugin>

לתוכן

maven-gpg-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-gpg-plugin</artifactId>
  <executions>
    <execution>
      <id>sign-artifacts</id>
      <!-- Сборка будет падать, если отсутствует GPG ключ -->
      <!-- Подписываем артефакты только на фазе deploy -->
      <phase>deploy</phase>
      <goals>
        <goal>sign</goal>
      </goals>
    </execution>
  </executions>
</plugin>

לתוכן

nexus-staging-maven-plugin

תְצוּרָה:

<project>
  <!-- ... -->
  <build>
    <plugins>
      <!-- ... -->
      <plugin>
        <groupId>org.sonatype.plugins</groupId>
        <artifactId>nexus-staging-maven-plugin</artifactId>
      </plugin>
    </plugins>
    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.sonatype.plugins</groupId>
          <artifactId>nexus-staging-maven-plugin</artifactId>
          <extensions>true</extensions>
          <configuration>
            <serverId>sonatype</serverId>
            <nexusUrl>https://oss.sonatype.org/</nexusUrl>
            <!-- Обновляем метаданные, чтобы пометить артефакт как release -->
            <!-- Не влияет на snapshot версии -->
            <updateReleaseInfo>true</updateReleaseInfo>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-deploy-plugin</artifactId>
          <configuration>
            <!-- Отключаем плагин -->
            <skip>true</skip>
          </configuration>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
  <distributionManagement>
    <snapshotRepository>
      <id>sonatype</id>
      <name>Nexus Snapshot Repository</name>
      <url>https://oss.sonatype.org/content/repositories/snapshots/</url>
    </snapshotRepository>
    <repository>
      <id>sonatype</id>
      <name>Nexus Release Repository</name>
      <url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
    </repository>
  </distributionManagement>
</project>

אם יש לך פרויקט מרובה מודולים ואתה לא צריך להעלות מודול ספציפי למאגר, אז אתה צריך להוסיף nexus-staging-maven-plugin עם דגל skipNexusStagingDeployMojo

<build>
  <plugins>
    <plugin>
      <groupId>org.sonatype.plugins</groupId>
      <artifactId>nexus-staging-maven-plugin</artifactId>
      <configuration>
        <skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
      </configuration>
    </plugin>
  </plugins>
</build>

לאחר ההורדה, גרסאות תמונת מצב/הוצאה זמינות ב מאגרי ביניים

<repositories>
  <repository>
    <id>SonatypeNexus</id>
    <url>https://oss.sonatype.org/content/groups/staging/</url>
    <!-- Не надо указывать флаги snapshot/release для репозитория -->
  </repository>
</repositories>

עוד פלוסים

• רשימה עשירה מאוד של יעדים לעבודה עם מאגר הנקסוס (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
• בדיקת שחרור אוטומטי להעלאה ל-maven central

לתוכן

תוצאה

פרסום גרסת SNAPSHOT

בעת בניית פרויקט, ניתן להפעיל באופן ידני משימה להורדת גרסת SNAPSHOT ל-nexus

כאשר משימה זו מופעלת, המשימה המתאימה בפרויקט הפריסה מופעלת (דוגמה).

יומן גזוז

Running with gitlab-runner 11.10.0 (3001a600)
  on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
  git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0                                           [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO] 
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO]     Updating project org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:client
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:test-core
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:testng
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:client
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT                                  [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO]  * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [  2.375 s]
[INFO] test-core .......................................... SUCCESS [  3.929 s]
[INFO] Shields4J client ................................... SUCCESS [  3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------

כתוצאה מכך, הגרסה נטענת לתוך nexus 1.0.0- תמונת מצב.

ניתן למחוק את כל גרסאות תמונת המצב מהמאגר באתר oss.sonatype.org תחת חשבונך.

לתוכן

פרסום גרסת מהדורה

כאשר תג מותקן, המשימה המתאימה בפרויקט הפריסה מופעלת אוטומטית כדי להוריד את גרסת ההפצה ל-nexus (דוגמה).

החלק הטוב ביותר הוא ששחרור קרוב מופעל אוטומטית ב-nexus.

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1037".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  9.603 s]
[INFO] test-core .......................................... SUCCESS [  3.419 s]
[INFO] Shields4J client ................................... SUCCESS [  9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------

ואם משהו ישתבש, המשימה בהחלט תיכשל

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1038".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR] 
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR] 
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR]   Rule "signature-staging" failures
[ERROR]     * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  4.073 s]
[INFO] test-core .......................................... SUCCESS [  2.788 s]
[INFO] Shields4J client ................................... SUCCESS [  3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------

כתוצאה מכך, נותרה לנו רק ברירה אחת. מחק גרסה זו או פרסם אותה.

לאחר השחרור, לאחר זמן מה החפצים יהיו בפנים

מחוץ לנושא

זה היה תגלית עבורי שמייבן מאנדקס מאגרים ציבוריים אחרים.
נאלצתי להוסיף robots.txt מכיוון שהוא הוסיף לאינדקס את המאגר הישן שלי.

לתוכן

מסקנה

מה יש לנו

• פרויקט פריסה נפרד בו ניתן ליישם מספר משימות CI להעלאת חפצים למאגרים ציבוריים עבור שפות פיתוח שונות.
• פרויקט ה-Deploy מבודד מהפרעות מבחוץ וניתן לשנות אותו רק על ידי משתמשים בעלי תפקידי הבעלים והמתחזק.
• רץ ספציפי נפרד עם מטמון "חם" להפעלת משימות פריסה בלבד.
• פרסום גרסאות תמונת מצב/הפצה במאגר ציבורי.
• בדיקה אוטומטית של גרסת השחרור למוכנות לפרסום ב-maven central.
• הגנה מפני פרסום אוטומטי של גרסאות "גולמיות" ב-maven central.
• בנה ופרסם גרסאות תמונת מצב "בלחיצה".
• מאגר יחיד להשגת גרסאות תמונת מצב/שחרור.
• צנרת כללית לבניית/בדיקה/פרסום פרויקט java.

הגדרת GitLab CI אינה נושא מסובך כפי שהוא נראה במבט ראשון. מספיק להגדיר את CI על בסיס סוהר כמה פעמים, ועכשיו אתה רחוק מלהיות חובבן בעניין הזה. יתרה מכך, תיעוד GitLab מיותר מאוד. אל תפחד לעשות את הצעד הראשון. הדרך מופיעה מתחת למדרגות של ההולכת (אני לא זוכרת מי אמר את זה :)

אשמח לקבל משוב.

במאמר הבא אדבר על איך להגדיר את GitLab CI להריץ משימות עם מבחני אינטגרציה באופן תחרותי (הפעלת השירותים הנבדקים באמצעות docker-compose) אם יש לך רק רץ מעטפת אחד.

לתוכן

מקור: www.habr.com