Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

Ин мақола барои таҳиягарони java пешбинӣ шудааст, ки ниёз доранд маҳсулоти худро дар сонатип ва/ё анбори марказии maven бо истифода аз GitLab зуд интишор кунанд. Дар ин мақола ман дар бораи насб кардани gitlab-runner, gitlab-ci ва maven-plugin барои ҳалли ин мушкилот сӯҳбат мекунам.

Шарти пешакӣ:

  • Нигоҳдории бехатари калидҳои mvn ва GPG.
  • Иҷрои бехатари вазифаҳои CI ҷамъиятӣ.
  • Бор кардани артефактҳо (релиз/снапшот) ба анборҳои ҷамъиятӣ.
  • Санҷиши худкори версияҳои нашр барои интишор дар maven center.
  • Ҳалли умумӣ барои бор кардани артефактҳо ба анбори лоиҳаҳои сершумор.
  • Содда ва осонии истифода.

Мундариҷа

Маълумоти умумӣ

  • Тавсифи муфассали механизми нашри артефактҳо дар Maven Central тавассути Sonatype OSS Repository Hosting Service аллакай дар тавсиф шудааст. Ин мақола истифодабаранда Гуголплекс, бинобар ин ман ба ин мақола дар ҷойҳои дуруст муроҷиат мекунам.
  • Барои Sonatype JIRA ва барои кушодани анбор чипта кушоед (барои тафсилоти бештар қисматро хонед Дар Sonatype JIRA чипта эҷод кунед). Пас аз кушодани анбор, ҷуфти логин/парол аз JIRA (минбаъд ҳисоби Sonatype номида мешавад) барои бор кардани артефактҳо ба Sonatype nexus истифода мешавад.
  • Баъдан, раванди тавлиди калиди GPG хеле хушк тасвир шудааст. Барои тафсилоти бештар ба бахш нигаред Танзими GnuPG барои имзои артефактҳо
  • Агар шумо консоли Linux-ро барои тавлиди калиди GPG (gnupg/gnupg2) истифода баред, пас шумо бояд насб кунед асбобҳои rng барои тавлиди энтропия. Дар акси ҳол, тавлиди калид метавонад вақти хеле дарозро талаб кунад.
  • Хидматҳои нигоҳдорӣ ҷамъиятӣ Калидҳои GPG

Ба мундариҷа

Ташкили лоиҳаи ҷойгиркунӣ дар GitLab

  • Пеш аз ҳама, шумо бояд лоиҳаеро созед ва танзим кунед, ки дар он лӯла барои ҷойгиркунии артефактҳо нигоҳ дошта мешавад. Ман лоиҳаи худро содда ва содда номидам - тақсим карда мешавад
  • Пас аз сохтани анбор, шумо бояд дастрасиро барои тағир додани анбор маҳдуд кунед.
    Ба лоиҳа гузаред -> Танзимот -> Репозиторий -> Филиалҳои ҳифзшуда. Мо ҳама қоидаҳоро нест мекунем ва қоидаи ягонаро бо Wildcard * бо ҳуқуқи пахш кардан ва муттаҳид кардан танҳо барои корбароне, ки нақши Таъминкунанда доранд, илова мекунем. Ин қоида барои ҳамаи корбарони ин лоиҳа ва гурӯҳе, ки ин лоиҳа ба он тааллуқ дорад, кор хоҳад кард.
    Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center
  • Агар якчанд нигоҳдорон вуҷуд дошта бошанд, пас беҳтарин роҳи ҳалли он маҳдуд кардани дастрасӣ ба лоиҳа аст.
    Ба лоиҳа гузаред -> Танзимотҳо -> Умумӣ -> Намоиш, хусусиятҳои лоиҳа, иҷозатҳо ва Намоиши лоиҳаро ба он танзим кунед бахши хусусї.
    Ман як лоиҳаи дастраси оммавӣ дорам, зеро ман GitLab Runner-и худро истифода мебарам ва танҳо ман барои тағир додани анбор дастрасӣ дорам. Хуб, дар асл, нишон додани маълумоти хусусӣ дар гузоришҳои лӯлаи ҷамъиятӣ ба манфиати ман нест.
  • Қатъ кардани қоидаҳои тағир додани анбор
    Ба лоиҳа гузаред -> Танзимотҳо -> Репозиторий -> Қоидаҳои Push ва маҳдудияти Коммитерро муқаррар кунед, Санҷед, ки оё муаллиф парчамҳои корбари GitLab аст. Ман инчунин тавсия медиҳам, ки насб кунед имзо гузоштан, ва парчами Рад кардани супоришҳои имзонашударо насб кунед.
  • Минбаъд шумо бояд триггерро барои оғози вазифаҳо танзим кунед
    Ба лоиҳа гузаред -> Танзимот -> CI / CD -> Триггерҳои қубур ва триггер-токени нав эҷод кунед
    Ин нишона метавонад фавран ба конфигуратсияи умумии тағирёбандаҳо барои як гурӯҳи лоиҳаҳо илова карда шавад.
    Ба гурӯҳ -> Танзимот -> CI / CD -> Тағирёбандаҳо гузаред ва тағирёбанда илова кунед DEPLOY_TOKEN бо арзиши триггер-токен.

Ба мундариҷа

GitLab Runner

Ин бахш конфигуратсияро барои иҷро кардани вазифаҳо бо истифода аз давандаи худ (Мушаххас) ва оммавӣ (Shared) тавсиф мекунад.

Давандаи мушаххас

Ман давандагони худамро истифода мебарам, зеро пеш аз ҳама, он қулай, зуд ва арзон аст.
Барои даванда ман Linux VDS-ро бо 1 CPU, 2 ГБ RAM, 20 ГБ HDD тавсия медиҳам. Нархи нашр ~ 3000₽ дар як сол аст.

давандаи ман

Барои даванда ман VDS 4 CPU, 4 GB RAM, 50 GB SSD гирифтам. Арзиш ~ 11000₽ ва ҳеҷ гоҳ пушаймон нест.
Ман ҳамагӣ 7 мошин дорам. 5 дар Аруба ва 2 дар Ихор.

Ҳамин тавр, мо як даванда дорем. Акнун мо онро танзим мекунем.
Мо тавассути SSH ба мошин меравем ва java, git, maven, gnupg2 -ро насб мекунем.

Ба мундариҷа

Насб кардани runner gitlab

  • Гурӯҳи нав эҷод кунед runner
    sudo groupadd runner
  • Барои кэши maven директория эҷод кунед ва иҷозатҳои гурӯҳӣ таъин кунед runner
    Шумо метавонед ин нуктаро гузаред, агар шумо нақша надоред, ки дар як мошин якчанд давандагонро идора кунед.

    mkdir -p /usr/cache/.m2/repository
    chown -R :runner /usr/cache
    chmod -R 770 /usr/cache
  • Истифодабаранда эҷод кунед gitlab-deployer ва ба гурӯҳ илова кунед runner
    useradd -m -d /home/gitlab-deployer gitlab-deployer
    usermod -a -G runner gitlab-deployer
  • Илова ба файл /etc/ssh/sshd_config сатри оянда
    AllowUsers root@* [email protected]
  • Аз нав оғоз кунед sshd
    systemctl restart sshd
  • Муқаррар кардани парол барои корбар gitlab-deployer (метавонад содда бошад, зеро барои localhost маҳдудият вуҷуд дорад)
    passwd gitlab-deployer
  • GitLab Runner насб кунед (Linux x86-64)
    sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64
    sudo chmod +x /usr/local/bin/gitlab-runner
    ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner
    ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner
  • Ба вебсайти gitlab.com -> deploy-project -> Танзимот -> CI/CD -> Давандагон -> Давандагони мушаххас гузаред ва аломати бақайдгириро нусхабардорӣ кунед.

Экрани

Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

  • Бақайдгирии даванда
    gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml

раванди

Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded                     runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

  • Мо тафтиш мекунем, ки даванда ба қайд гирифта шудааст. Ба вебсайти gitlab.com гузаред -> deploy-project -> Танзимотҳо -> CI/CD -> Давандагон -> Давандагони мушаххас -> Давандагоне, ки барои ин лоиҳа фаъол шудаанд

Экрани

Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

  • Илова кунед ҷудо кардан хизматрасонӣ /etc/systemd/system/gitlab-deployer.service
    [Unit]
    Description=GitLab Deploy Runner
    After=syslog.target network.target
    ConditionFileIsExecutable=/usr/local/bin/gitlab-runner
    [Service]
    StartLimitInterval=5
    StartLimitBurst=10
    ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer"
    Restart=always
    RestartSec=120
    [Install]
    WantedBy=multi-user.target
  • Биёед хидматро оғоз кунем.
    systemctl enable gitlab-deployer.service
    systemctl start gitlab-deployer.service
    systemctl status gitlab-deployer.service
  • Мо тафтиш мекунем, ки даванда давида истодааст.

Мисол

Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

Ба мундариҷа

Эҷоди калидҳои GPG

  • Аз ҳамон мошин мо тавассути ssh зери корбар ворид мешавем gitlab-deployer (ин барои тавлиди калиди GPG муҳим аст)

    ssh [email protected]

  • Мо калидро тавассути ҷавоб ба саволҳо тавлид мекунем. Ман ном ва почтаи электронии худро истифода кардам.
    Боварӣ ҳосил кунед, ки пароли калидро муайян кунед. Артефактҳо бо ин калид имзо карда мешаванд.

    gpg --gen-key 

  • Санҷиш

    gpg --list-keys -a
    /home/gitlab-deployer/.gnupg/pubring.gpg
    ----------------------------------------
    pub   4096R/00000000 2019-04-19
    uid                  Petruha Petrov <[email protected]>
    sub   4096R/11111111 2019-04-19

  • Калиди ҷамъиятии мо ба сервери калидӣ бор карда мешавад

    gpg --keyserver keys.gnupg.net --send-key 00000000
    gpg: sending key 00000000 to hkp server keys.gnupg.net

Ба мундариҷа

Танзими Maven

  • Ҳамчун корбар ворид шавед gitlab-deployer
    su gitlab-deployer 
  • Феҳристи maven эҷод кунед нигаҳдорӣ ва истинод ба кэш (хато накунед)
    Шумо метавонед ин нуктаро гузаред, агар шумо нақша надоред, ки дар як мошин якчанд давандагонро идора кунед.

    mkdir -p ~/.m2/repository
    ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository
  • Калиди асосӣ эҷод кунед
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Файли ~/.m2/settings-security.xml эҷод кунед
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Рамзгузорӣ кардани парол барои ҳисоби Sonatype
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Файли ~/.m2/settings.xml эҷод кунед
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>SONATYPE_USERNAME</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

дар куҷо,
GPG_SECRET_KEY_PASSPHRASE - парол барои калиди GPG
SONATYPE_USERNAME — воридшавии ҳисоби sonatype

Ин насби давандаро ба анҷом мерасонад, шумо метавонед ба қисмат гузаред GitLab CI

Ба мундариҷа

Давандаи муштарак

Эҷоди калидҳои GPG

  • Пеш аз ҳама, шумо бояд калиди GPG эҷод кунед. Барои ин кор, gnupg -ро насб кунед.

    yum install -y gnupg

  • Мо тавассути ҷавоб додан ба саволҳо калид эҷод мекунем. Ман ном ва почтаи электронии худро истифода кардам. Боварӣ ҳосил кунед, ки пароли калидро муайян кунед.

    gpg --gen-key 

  • Намоиши маълумот дар калид

    gpg --list-keys -a
    pub   rsa3072 2019-04-24 [SC] [expires: 2021-04-23]
      2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    uid           [ultimate] tttemp <[email protected]>
    sub   rsa3072 2019-04-24 [E] [expires: none]

  • Калиди ҷамъиятии мо ба сервери калидӣ бор карда мешавад

    gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net

  • Мо калиди хусусиро мегирем

    gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
    -----BEGIN PGP PRIVATE KEY BLOCK-----
    lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5
    ...
    =2Wd2
    -----END PGP PRIVATE KEY BLOCK-----

  • Ба танзимоти лоиҳа гузаред -> Танзимот -> CI / CD -> Тағйирёбандаҳо ва калиди хусусиро дар тағирёбанда захира кунед GPG_SECRET_KEY
    Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

Ба мундариҷа

Танзими Maven

  • Калиди асосӣ эҷод кунед
    mvn --encrypt-master-password password
    {hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Ба танзимоти лоиҳа гузаред -> Танзимот -> CI / CD -> Тағирёбандаҳо ва дар як тағирёбанда захира кунед SETTINGS_SECURITY_XML сатрҳои зерин:
    <settingsSecurity>
    <master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
    </settingsSecurity>
  • Рамзгузорӣ кардани парол барои ҳисоби Sonatype
    mvn --encrypt-password SONATYPE_PASSWORD
    {98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Ба танзимоти лоиҳа гузаред -> Танзимот -> CI / CD -> Тағирёбандаҳо ва дар як тағирёбанда захира кунед SETTINGS_XML сатрҳои зерин:
    <settings>  
    <profiles>
        <profile>
            <id>env</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
            </properties>
        </profile>
    </profiles>
    <servers>
        <server>
            <id>sonatype</id>
            <username>sonatype_username</username>
            <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
        </server>
    </servers>
    </settings>

дар куҷо,
GPG_SECRET_KEY_PASSPHRASE - парол барои калиди GPG
SONATYPE_USERNAME — воридшавии ҳисоби sonatype

Ба мундариҷа

Тасвири докерро ҷойгир кунед

  • Мо як файли оддии Dockerfile эҷод мекунем, то вазифаҳои ҷойгиркунӣ бо версияи зарурии Java иҷро карда шаванд. Дар зер як мисол барои кӯҳи баланд аст.

    FROM java:8u111-jdk-alpine
    RUN apk add gnupg maven git --update-cache 
    --repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && 
    mkdir ~/.m2/

  • Ҷамъоварии контейнер барои лоиҳаи шумо

    docker build -t registry.gitlab.com/group/deploy .

  • Мо аутентификатсия ва контейнерро ба реестр бор мекунем.

    docker login -u USER -p PASSWORD registry.gitlab.com
    docker push registry.gitlab.com/group/deploy

Ба мундариҷа

GitLab CI

Ҷойгир кардани лоиҳа

Файли .gitlab-ci.yml -ро ба решаи лоиҳаи ҷойгиркунӣ илова кунед
Скрипт ду вазифаи ҷойгиркунии мутақобилан истисноиро пешниҳод мекунад. Мутаносибан давандаи мушаххас ё давандаи муштарак.

.gitlab-ci.yml

stages:
  - deploy

Specific Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на вашем shell-раннере
  tags:
    - deploy

Shared Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на публичном docker-раннере
  tags:
    - docker
  # Образ из раздела GitLab Runner -> Shared Runner -> Docker
  image: registry.gitlab.com/group/deploy-project:latest
  before_script:
    # Импортируем GPG ключ
    - printf "${GPG_SECRET_KEY}" | gpg --batch --import
    # Сохраняем maven конфигурацию
    - printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
    - printf "${SETTINGS_XML}" > ~/.m2/settings.xml

.java_deploy_template:
  stage: deploy
  # Задача сработает по триггеру, если передана переменная DEPLOY со значением java
  only:
    variables:
    - $DEPLOY == "java"
  variables:
    # отключаем клонирование текущего проекта
    GIT_STRATEGY: none
  script:
    # Предоставляем возможность хранения пароля в незашифрованном виде
    - git config --global credential.helper store
    # Сохраняем временные креды пользователя gitlab-ci-token
    # Токен работает для всех публичных проектов gitlab.com и для проектов группы
    - echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
    # Полностью чистим текущую директорию
    - rm -rf .* *
    # Клонируем проект который, будем деплоить в Sonatype Nexus
    - git clone ${DEPLOY_CI_REPOSITORY_URL} .
    # Переключаемся на нужный коммит
    - git checkout ${DEPLOY_CI_COMMIT_SHA} -f
    # Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
    # В противном случае есть риск залить сырые артефакты в maven central
    - >
      for pom in $(find . -name pom.xml); do
        if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
          echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
          exit 1;
        fi;
      done
    # Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
    - >
      if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
        mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
      else
        VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
        if [[ "${VERSION}" == *-SNAPSHOT ]]; then
          mvn versions:set -DnewVersion=${VERSION}
        else
          mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
        fi
      fi
    # Запускаем задачу на сборку и деплой артефактов
    - mvn clean deploy -DskipTests=true

Ба мундариҷа

Лоиҳаи Java

Дар лоиҳаҳои java, ки бояд ба анборҳои ҷамъиятӣ бор карда шаванд, шумо бояд 2 қадамро барои зеркашии версияҳои Release ва Snapshot илова кунед.

.gitlab-ci.yml

stages:
  - build
  - test
  - verify
  - deploy

<...>

Release:
  extends: .trigger_deploy
  # Запускать задачу только пo тегу.
  only:
    - tags

Snapshot:
  extends: .trigger_deploy
  # Запускаем задачу на публикацию SNAPSHOT версии вручную
  when: manual
  # Не запускать задачу, если проставлен тег.
  except:
    - tags

.trigger_deploy:
  stage: deploy
  variables:
    # Отключаем клонирование текущего проекта
    GIT_STRATEGY: none
    # Ссылка на триггер deploy-задачи
    URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
    # Переменные deploy-задачи
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
    # Не использую cURL, так как с флагами --fail --show-error
    # он не выводит тело ответа, если HTTP код 400 и более 
    - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

Дар ин ҳалли, ман каме пештар рафтам ва тасмим гирифтам, ки як қолаби CI-ро барои лоиҳаҳои java истифода барам.

Маълумоти бештар

Ман як лоиҳаи алоҳида эҷод кардам гитлаб-ци ки дар он ман як қолаби CI-ро барои лоиҳаҳои java ҷойгир кардам умумӣ.yml.

умумӣ.yml

stages:
  - build
  - test
  - verify
  - deploy

variables:
  SONAR_ARGS: "
  -Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA} 
  -Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME} 
  "

.build_java_project:
  stage: build
  tags:
    - touchbit-shell
  variables:
    SKIP_TEST: "false"
  script:
    - mvn clean
    - mvn package -DskipTests=${SKIP_TEST}
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.build_sphinx_doc:
  stage: build
  tags:
    - touchbit-shell
  variables:
    DOCKERFILE: .indirect/docs/Dockerfile
  script:
    - docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .

.junit_module_test_run:
  stage: test
  tags:
    - touchbit-shell
  variables:
    MODULE: ""
  script:
    - cd ${MODULE}
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.junit_test_run:
  stage: test
  tags:
    - touchbit-shell
  script:
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
    - "*/target/reports"

.sonar_review:
  stage: verify
  tags:
    - touchbit-shell
  dependencies: []
  script:
    - >
      if [ "$CI_BUILD_REF_NAME" == "master" ]; then
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
      else
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
      fi

.trigger_deploy:
  stage: deploy
  tags:
    - touchbit-shell
  variables:
    URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
  - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

.trigger_release_deploy:
  extends: .trigger_deploy
  only:
    - tags

.trigger_snapshot_deploy:
  extends: .trigger_deploy
  when: manual
  except:
    - tags

Дар натиҷа, дар худи лоиҳаҳои java, .gitlab-ci.yml хеле паймон менамояд ва на муфассал

.gitlab-ci.yml

include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml

Shields4J:
  extends: .build_java_project

Sphinx doc:
  extends: .build_sphinx_doc
  variables:
    DOCKERFILE: .docs/Dockerfile

Sonar review:
  extends: .sonar_review
  dependencies:
    - Shields4J

Release:
  extends: .trigger_release_deploy

Snapshot:
  extends: .trigger_snapshot_deploy

Ба мундариҷа

Конфигуратсияи Pom.xml

Ин мавзӯъ ба таври муфассал тавсиф шудааст. Гуголплекс в Танзими maven барои ба таври худкор имзо ва бор кардани артефактҳо ба анборҳои аксбардорӣ ва ҷойгиркунӣ, бинобар ин ман баъзе нозукиҳои истифодаи плагинҳоро тавсиф мекунам. Ман инчунин тавсиф мекунам, ки шумо чӣ гуна осон ва оромона истифода карда метавонед nexus-staging-maven-pluginагар шумо намехоҳед ё наметавонед org.sonatype.oss:oss-parent-ро ҳамчун волидайн барои лоиҳаи худ истифода баред.

maven-install-plugin

Модулҳоро ба анбори маҳаллӣ насб мекунад.
Барои санҷиши маҳаллии ҳалли лоиҳаҳои дигар, инчунин маблағи санҷиш хеле муфид аст.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-install-plugin</artifactId>
  <executions>
    <execution>
      <id>install-project</id>
      <!-- Если у вас многомодульный проект с деплоем родительского помика -->
      <phase>install</phase>
      <!-- Явно указываем файлы для локальной установки -->
      <configuration>
        <file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
        <pomFile>dependency-reduced-pom.xml</pomFile>
        <!-- Принудительное обновление метаданных проекта -->
        <updateReleaseInfo>true</updateReleaseInfo>
        <!-- Контрольные суммы для проверки целостности -->
        <createChecksum>true</createChecksum>
      </configuration>
    </execution>
  </executions>
</plugin>

Ба мундариҷа

maven-javadoc-плагин

Таҳияи javadoc барои лоиҳа.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-javadoc-plugin</artifactId>
  <executions>
    <execution>
      <goals>
        <goal>jar</goal>
      </goals>
      <!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
      <phase>prepare-package</phase>
      <configuration>
        <!-- Очень помогает в публичных проектах -->
        <failOnError>true</failOnError>
        <failOnWarnings>true</failOnWarnings>
        <!-- Убирает ошибку поиска документации в target директории -->
        <detectOfflineLinks>false</detectOfflineLinks>
      </configuration>
    </execution>
  </executions>
</plugin>

Агар шумо модуле дошта бошед, ки дорои java нест (масалан танҳо захираҳо)
Ё шумо намехоҳед javadoc-ро дар асл тавлид кунед, пас кӯмак кунед maven-jar-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-jar-plugin</artifactId>
  <executions>
    <execution>
      <id>empty-javadoc-jar</id>
      <phase>generate-resources</phase>
      <goals>
        <goal>jar</goal>
      </goals>
      <configuration>
        <classifier>javadoc</classifier>
        <classesDirectory>${basedir}/javadoc</classesDirectory>
      </configuration>
    </execution>
  </executions>
</plugin>

Ба мундариҷа

maven-gpg-плагин

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-gpg-plugin</artifactId>
  <executions>
    <execution>
      <id>sign-artifacts</id>
      <!-- Сборка будет падать, если отсутствует GPG ключ -->
      <!-- Подписываем артефакты только на фазе deploy -->
      <phase>deploy</phase>
      <goals>
        <goal>sign</goal>
      </goals>
    </execution>
  </executions>
</plugin>

Ба мундариҷа

nexus-staging-maven-плагин

Конфигуратсия:

<project>
  <!-- ... -->
  <build>
    <plugins>
      <!-- ... -->
      <plugin>
        <groupId>org.sonatype.plugins</groupId>
        <artifactId>nexus-staging-maven-plugin</artifactId>
      </plugin>
    </plugins>
    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.sonatype.plugins</groupId>
          <artifactId>nexus-staging-maven-plugin</artifactId>
          <extensions>true</extensions>
          <configuration>
            <serverId>sonatype</serverId>
            <nexusUrl>https://oss.sonatype.org/</nexusUrl>
            <!-- Обновляем метаданные, чтобы пометить артефакт как release -->
            <!-- Не влияет на snapshot версии -->
            <updateReleaseInfo>true</updateReleaseInfo>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-deploy-plugin</artifactId>
          <configuration>
            <!-- Отключаем плагин -->
            <skip>true</skip>
          </configuration>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
  <distributionManagement>
    <snapshotRepository>
      <id>sonatype</id>
      <name>Nexus Snapshot Repository</name>
      <url>https://oss.sonatype.org/content/repositories/snapshots/</url>
    </snapshotRepository>
    <repository>
      <id>sonatype</id>
      <name>Nexus Release Repository</name>
      <url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
    </repository>
  </distributionManagement>
</project>

Агар шумо лоиҳаи бисёрмодул дошта бошед ва ба шумо лозим нест, ки модули мушаххасро ба анбор бор кунед, пас шумо бояд илова кунед nexus-staging-maven-plugin бо байрак skipNexusStagingDeployMojo

<build>
  <plugins>
    <plugin>
      <groupId>org.sonatype.plugins</groupId>
      <artifactId>nexus-staging-maven-plugin</artifactId>
      <configuration>
        <skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
      </configuration>
    </plugin>
  </plugins>
</build>

Пас аз зеркашӣ, версияҳои аксбардорӣ/релизҳо дар анборҳои ҷойгиркунӣ

<repositories>
  <repository>
    <id>SonatypeNexus</id>
    <url>https://oss.sonatype.org/content/groups/staging/</url>
    <!-- Не надо указывать флаги snapshot/release для репозитория -->
  </repository>
</repositories>

Плюсҳои бештар

  • Рӯйхати хеле бойи ҳадафҳо барои кор бо анбори nexus (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
  • Санҷиши худкори озодкунӣ барои боргузорӣ ба maven center

Ба мундариҷа

Дар натиҷа

Нашри версияи SNAPSHOT

Ҳангоми сохтани лоиҳа, имконпазир аст, ки супоришро барои зеркашии версияи SNAPSHOT ба nexus дастӣ оғоз кунед

Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

Вақте ки ин вазифа оғоз мешавад, вазифаи мувофиқ дар лоиҳаи ҷойгиркунӣ оғоз мешавад (намуна).

Лоиҳаи буридашуда

Running with gitlab-runner 11.10.0 (3001a600)
  on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
  git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0                                           [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO] 
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO]     Updating project org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:client
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:test-core
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:testng
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:client
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT                                  [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO]  * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [  2.375 s]
[INFO] test-core .......................................... SUCCESS [  3.929 s]
[INFO] Shields4J client ................................... SUCCESS [  3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------

Дар натиҷа, версия ба nexus бор карда мешавад 1.0.0-SAPSHOT.

Ҳама версияҳои аксбардориро аз анбори вебсайт нест кардан мумкин аст oss.sonatype.org дар зери ҳисоби шумо.

Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

Ба мундариҷа

Нашри версияи барориши

Вақте ки барчасп насб карда мешавад, вазифаи мувофиқ дар лоиҳаи ҷойгиркунӣ ба таври худкор барои зеркашии версияи релиз ба Nexus (намуна).

Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

Беҳтарин қисми он аст, ки озодкунии пӯшида ба таври худкор дар nexus оғоз мешавад.

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1037".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  9.603 s]
[INFO] test-core .......................................... SUCCESS [  3.419 s]
[INFO] Shields4J client ................................... SUCCESS [  9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------

Ва агар ягон чиз нодуруст равад, вазифа бешубҳа ноком мешавад

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1038".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR] 
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR] 
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR]   Rule "signature-staging" failures
[ERROR]     * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on &lt;a href=http://keys.gnupg.net:11371/&gt;http://keys.gnupg.net:11371/&lt;/a&gt;. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  4.073 s]
[INFO] test-core .......................................... SUCCESS [  2.788 s]
[INFO] Shields4J client ................................... SUCCESS [  3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------

Дар натиҷа мо танҳо як интихоб мемонем. Ин версияро нест кунед ё интишор кунед.

Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

Пас аз озод шудан, пас аз чанд вақт артефактҳо дар дохили он хоҳанд буд Насб кардани GitLab CI барои бор кардани лоиҳаи java ба maven center

берун аз мавзӯъ

Ин барои ман як кашфиёт буд, ки maven дигар анборҳои ҷамъиятиро индексатсия мекунад.
Ман маҷбур будам robots.txt -ро илова кунам, зеро он анбори кӯҳнаи маро индексатсия кардааст.

Ба мундариҷа

хулоса

Он чизе ки мо дорем

  • Лоиҳаи ҷойгиркунии алоҳида, ки дар он шумо метавонед якчанд вазифаҳои CI-ро барои бор кардани артефактҳо ба анбори оммавӣ барои забонҳои гуногуни рушд иҷро кунед.
  • Лоиҳаи Ҷойгиркунӣ аз дахолати беруна ҷудо карда шудааст ва онро танҳо корбарон бо нақшҳои Молик ва Нигоҳдор иваз карда метавонанд.
  • Давандаи мушаххаси алоҳида бо кэши "гарм" барои иҷро кардани танҳо вазифаҳои ҷойгиркунӣ.
  • Нашри аксҳои аксбардорӣ/версияҳои релиз дар анбори ҷамъиятӣ.
  • Санҷиши худкори версияи нашр барои омодагӣ ба интишор дар maven center.
  • Муҳофизат аз интишори худкори версияҳои "хом" дар maven center.
  • Версияҳои аксбардориро "бо клик" созед ва нашр кунед.
  • Як анбори ягона барои гирифтани версияҳои аксбардорӣ/релизҳо.
  • Қубури умумӣ барои сохтан/озмоиш/нашри лоиҳаи java.

Насб кардани GitLab CI як мавзӯъест, ки дар назари аввал он қадар мураккаб нест. Якчанд маротиба CI-ро дар асоси калид насб кардан кифоя аст ва ҳоло шумо дар ин масъала аз ҳаводор дур ҳастед. Гузашта аз ин, ҳуҷҷатҳои GitLab хеле зиёдатӣ мебошанд. Аз гузоштани қадами аввал натарсед. Роҳ дар зери қадамҳои роҳрав пайдо мешавад (ман дар ёд надорам, ки кӣ гуфта буд :)

Ман аз гирифтани фикру мулоҳизаҳо шод хоҳам шуд.

Дар мақолаи навбатӣ ман дар бораи чӣ гуна танзим кардани GitLab CI гап мезанам, ки вазифаҳоро бо санҷишҳои ҳамгироӣ рақобатпазир иҷро кунад (иҷрои хидматҳои зери санҷиш бо истифода аз docker-compose), агар шумо танҳо як давандаи shell дошта бошед.

Ба мундариҷа

Манбаъ: will.com

Илова Эзоҳ