Menyiapkan GitLab CI untuk mengunggah proyek Java ke pusat maven
Artikel ini ditujukan untuk pengembang java yang perlu mempublikasikan produk mereka dengan cepat ke repositori pusat sonatype dan/atau maven menggunakan GitLab. Pada artikel ini, saya akan berbicara tentang menyiapkan gitlab-runner, gitlab-ci dan maven-plugin untuk mengatasi masalah ini.
Prasyarat:
Penyimpanan kunci mvn dan GPG yang aman.
Amankan pelaksanaan tugas CI publik.
Mengunggah artefak (rilis/snapshot) ke repositori publik.
Pemeriksaan otomatis versi rilis untuk publikasi di pusat maven.
Solusi umum untuk mengunggah artefak ke repositori untuk beberapa proyek.
Penjelasan rinci tentang mekanisme penerbitan artefak ke Maven Central melalui Layanan Hosting Repositori Sonatype OSS sudah dijelaskan di artikel ini pengguna Googolplex, jadi saya akan merujuk artikel ini di tempat yang tepat.
Pra-registrasi di Sonatipe JIRA dan mulai tiket untuk membuka repositori (untuk lebih jelasnya, baca bagian Buat tiket Sonatype JIRA). Setelah membuka repositori, pasangan login/kata sandi JIRA (selanjutnya disebut akun Sonatype) akan digunakan untuk mengunggah artefak ke nexus Sonatype.
Jika Anda menggunakan konsol Linux untuk menghasilkan kunci GPG (gnupg/gnupg2), maka Anda perlu menginstal rng-tools untuk menghasilkan entropi. Jika tidak, pembuatan kunci bisa memakan waktu sangat lama.
Pertama-tama, Anda perlu membuat dan mengonfigurasi proyek di mana alur untuk penerapan artefak akan disimpan. Saya menyebut proyek saya sederhana dan tidak rumit - menyebarkan
Setelah membuat repositori, Anda perlu membatasi akses untuk mengubah repositori.
Buka proyek -> Pengaturan -> Repositori -> Cabang yang Dilindungi. Kami menghapus semua aturan dan menambahkan satu aturan dengan Wildcard * dengan hak untuk mendorong dan menggabungkan hanya untuk pengguna dengan peran Pengelola. Aturan ini akan berlaku untuk semua pengguna proyek ini dan grup tempat proyek ini berada.
Jika ada beberapa pengelola, maka solusi terbaik adalah membatasi akses ke proyek secara prinsip.
Buka proyek -> Pengaturan -> Umum -> Visibilitas, fitur proyek, izin dan atur visibilitas Proyek ke Swasta.
Saya memiliki proyek dalam akses publik, karena saya menggunakan GitLab Runner saya sendiri dan hanya saya yang memiliki akses untuk mengubah repositori. Sebenarnya bukan kepentingan saya untuk menampilkan informasi pribadi di log saluran pipa publik.
Memperketat aturan untuk mengubah repositori
Buka proyek -> Pengaturan -> Repositori -> Aturan Dorong dan atur tandanya Pembatasan komitter, Periksa apakah penulis adalah pengguna GitLab. Saya juga merekomendasikan pengaturan penandatanganan komit, dan setel tanda Tolak komit yang tidak ditandatangani.
Selanjutnya, Anda perlu mengonfigurasi pemicu untuk menjalankan tugas
Buka proyek -> Pengaturan -> CI / CD -> Pemicu saluran dan buat token pemicu baru
Token ini dapat langsung ditambahkan ke konfigurasi umum variabel untuk sekelompok proyek.
Buka grup -> Pengaturan -> CI/CD -> Variabel dan tambahkan variabel DEPLOY_TOKEN dengan trigger-token di nilainya.
Bagian ini menjelaskan konfigurasi untuk menjalankan tugas pada penerapan menggunakan runner asli (Khusus) dan publik (Bersama).
Pelari Tertentu
Saya menggunakan pelari saya sendiri, karena pertama-tama nyaman, cepat, dan murah.
Untuk runner saya merekomendasikan Linux VDS dengan 1 CPU, 2 GB RAM, 20 GB HDD. Harga penerbitan ~ 3000₽ per tahun.
Pelari saya
Untuk runner saya mengambil CPU VDS 4, RAM 4 GB, SSD 50 GB. Harganya ~11000₽ dan tidak pernah menyesalinya.
Saya memiliki total 7 mesin. 5 di aruba dan 2 di ihor.
Jadi, kita punya pelari. Sekarang kita akan mengaturnya.
Kami masuk ke mesin melalui SSH dan menginstal Java, git, maven, gnupg2.
Buat direktori untuk cache maven dan tetapkan hak grup runner
Anda dapat melewati langkah ini jika Anda tidak berencana menjalankan beberapa pelari di mesin yang sama.
Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
Periksa apakah pelari sudah terdaftar. Buka gitlab.com -> deploy-project -> Pengaturan -> CI/CD -> Pelari -> Pelari Tertentu -> Pelari yang diaktifkan untuk proyek ini
Layar
Menambahkan terpisah layanan /etc/systemd/system/gitlab-deployer.service
Kami menghasilkan kunci dengan menjawab pertanyaan. Saya menggunakan nama dan email saya sendiri.
Pastikan untuk menentukan kata sandi untuk kunci tersebut. Artefak akan ditandatangani dengan kunci ini.
gpg --gen-key
Memeriksa
gpg --list-keys -a
/home/gitlab-deployer/.gnupg/pubring.gpg
----------------------------------------
pub 4096R/00000000 2019-04-19
uid Petruha Petrov <[email protected]>
sub 4096R/11111111 2019-04-19
Mengunggah kunci publik kita ke server kunci
gpg --keyserver keys.gnupg.net --send-key 00000000
gpg: sending key 00000000 to hkp server keys.gnupg.net
Buat direktori pakar gudang dan link dengan cache (jangan salah)
Langkah ini dapat dilewati jika Anda tidak berencana menjalankan beberapa pelari pada mesin yang sama.
Pertama-tama, Anda perlu membuat kunci GPG. Untuk melakukan ini, instal gnupg.
yum install -y gnupg
Kami menghasilkan kunci dengan menjawab pertanyaan. Saya menggunakan nama dan email saya sendiri. Pastikan untuk menentukan kata sandi untuk kunci tersebut.
Kami membuat Dockerfile yang cukup sederhana untuk menjalankan tugas yang diterapkan dengan versi Java yang diinginkan. Di bawah ini adalah contoh untuk alpine.
FROM java:8u111-jdk-alpine
RUN apk add gnupg maven git --update-cache
--repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted &&
mkdir ~/.m2/
Tambahkan file .gitlab-ci.yml ke root proyek penerapan
Skrip ini menyajikan dua tugas penerapan yang saling eksklusif. Pelari Tertentu atau Pelari Bersama.
.gitlab-ci.yml
stages:
- deploy
Specific Runner:
extends: .java_deploy_template
# Задача будет выполняться на вашем shell-раннере
tags:
- deploy
Shared Runner:
extends: .java_deploy_template
# Задача будет выполняться на публичном docker-раннере
tags:
- docker
# Образ из раздела GitLab Runner -> Shared Runner -> Docker
image: registry.gitlab.com/group/deploy-project:latest
before_script:
# Импортируем GPG ключ
- printf "${GPG_SECRET_KEY}" | gpg --batch --import
# Сохраняем maven конфигурацию
- printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
- printf "${SETTINGS_XML}" > ~/.m2/settings.xml
.java_deploy_template:
stage: deploy
# Задача сработает по триггеру, если передана переменная DEPLOY со значением java
only:
variables:
- $DEPLOY == "java"
variables:
# отключаем клонирование текущего проекта
GIT_STRATEGY: none
script:
# Предоставляем возможность хранения пароля в незашифрованном виде
- git config --global credential.helper store
# Сохраняем временные креды пользователя gitlab-ci-token
# Токен работает для всех публичных проектов gitlab.com и для проектов группы
- echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
# Полностью чистим текущую директорию
- rm -rf .* *
# Клонируем проект который, будем деплоить в Sonatype Nexus
- git clone ${DEPLOY_CI_REPOSITORY_URL} .
# Переключаемся на нужный коммит
- git checkout ${DEPLOY_CI_COMMIT_SHA} -f
# Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
# В противном случае есть риск залить сырые артефакты в maven central
- >
for pom in $(find . -name pom.xml); do
if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
exit 1;
fi;
done
# Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
- >
if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
else
VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
if [[ "${VERSION}" == *-SNAPSHOT ]]; then
mvn versions:set -DnewVersion=${VERSION}
else
mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
fi
fi
# Запускаем задачу на сборку и деплой артефактов
- mvn clean deploy -DskipTests=true
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-javadoc-plugin</artifactId>
<executions>
<execution>
<goals>
<goal>jar</goal>
</goals>
<!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
<phase>prepare-package</phase>
<configuration>
<!-- Очень помогает в публичных проектах -->
<failOnError>true</failOnError>
<failOnWarnings>true</failOnWarnings>
<!-- Убирает ошибку поиска документации в target директории -->
<detectOfflineLinks>false</detectOfflineLinks>
</configuration>
</execution>
</executions>
</plugin>
Jika Anda memiliki modul yang tidak mengandung java (misalnya hanya sumber daya)
Atau Anda tidak ingin membuat javadoc pada prinsipnya, maka bantulah maven-jar-plugin
Jika Anda memiliki proyek multi-modul, dan Anda tidak perlu mengunggah modul tertentu ke repositori, maka Anda perlu menambahkan pom.xml modul ini nexus-staging-maven-plugin dengan bendera skipNexusStagingDeployMojo
<repositories>
<repository>
<id>SonatypeNexus</id>
<url>https://oss.sonatype.org/content/groups/staging/</url>
<!-- Не надо указывать флаги snapshot/release для репозитория -->
</repository>
</repositories>
Lebih banyak plus
Daftar target yang sangat kaya untuk bekerja dengan repositori nexus (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
Rilis otomatis memeriksa kemampuan pengunduhan di pusat maven
Ketika tag disetel, tugas terkait dalam proyek penerapan secara otomatis dipicu untuk mengunggah versi rilis ke nexus (contoh).
Bagian terbaiknya adalah rilis jarak dekat terpicu secara otomatis di nexus.
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1037".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 9.603 s]
[INFO] test-core .......................................... SUCCESS [ 3.419 s]
[INFO] Shields4J client ................................... SUCCESS [ 9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------
Dan jika terjadi kesalahan, maka tugas tersebut akan gagal
[INFO] Performing remote staging...
[INFO]
[INFO] * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO] * Created staging repository with ID "orgtouchbit-1038".
[INFO] * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO] * Uploading locally staged artifacts to profile org.touchbit
[INFO] * Upload of locally staged artifacts finished.
[INFO] * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR]
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR]
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR] Rule "signature-staging" failures
[ERROR] * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on <a href=http://keys.gnupg.net:11371/>http://keys.gnupg.net:11371/</a>. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR] * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Shields4J 1.0.0 .................................... SUCCESS [ 4.073 s]
[INFO] test-core .......................................... SUCCESS [ 2.788 s]
[INFO] Shields4J client ................................... SUCCESS [ 3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
Akibatnya, kita hanya punya satu pilihan. Atau hapus versi ini atau publikasikan.
Setelah rilis, setelah beberapa waktu, artefak akan masuk
diluar topic
Merupakan wahyu bagi saya bahwa pakar mengindeks repositori publik lainnya.
Saya harus mengunggah robots.txt karena mengindeks repositori lama saya.
Proyek penerapan terpisah di mana Anda dapat mengimplementasikan beberapa tugas CI untuk mengunggah artefak ke repositori publik untuk berbagai bahasa pengembangan.
Proyek penerapan diisolasi dari gangguan luar dan hanya dapat dimodifikasi oleh pengguna dengan peran Pemilik dan Pengelola.
Pelari Spesifik terpisah dengan cache "panas" untuk menjalankan tugas penerapan saja.
Publikasi versi snapshot/rilis di repositori publik.
Pemeriksaan otomatis versi rilis untuk kesiapan publikasi di pusat maven.
Perlindungan terhadap publikasi otomatis versi "mentah" di maven central.
Buat dan publikasikan versi snapshot “saat diklik”.
Repositori tunggal untuk mendapatkan versi snapshot/rilis.
Pipa umum untuk membangun/menguji/menerbitkan proyek Java.
Menyiapkan GitLab CI bukanlah topik yang rumit seperti yang terlihat pada pandangan pertama. Cukup dengan menyiapkan CI secara turnkey beberapa kali, dan sekarang Anda jauh dari amatir dalam hal ini. Selain itu, dokumentasi GitLab sangat mubazir. Jangan takut untuk mengambil langkah pertama. Jalan muncul di bawah langkah orang yang berjalan (saya tidak ingat siapa yang mengatakannya :)
Saya akan dengan senang hati memberikan masukan.
Pada artikel berikutnya, saya akan menunjukkan cara menyiapkan GitLab CI untuk menjalankan tugas pengujian integrasi secara kompetitif (menjalankan layanan pengujian dengan docker-compose) jika Anda hanya memiliki satu shell runner.