ProHoster > Blog > Pentadbiran > Pelari Shell GitLab. Pelancaran kompetitif perkhidmatan yang diuji menggunakan Docker Compose
Pelari Shell GitLab. Pelancaran kompetitif perkhidmatan yang diuji menggunakan Docker Compose
Artikel ini akan menarik minat kedua-dua penguji dan pembangun, tetapi ditujukan terutamanya untuk pakar automasi yang menghadapi masalah menyediakan GitLab CI/CD untuk ujian integrasi dalam keadaan sumber infrastruktur yang tidak mencukupi dan/atau ketiadaan bekas. platform orkestrasi. Saya akan memberitahu anda cara untuk menyediakan penggunaan persekitaran ujian menggunakan docker compose pada satu pelari shell GitLab tunggal dan supaya apabila menggunakan beberapa persekitaran, perkhidmatan yang dilancarkan tidak mengganggu antara satu sama lain.
Dalam amalan saya, sering berlaku bahawa ujian integrasi "dirawat" pada projek. Dan selalunya masalah pertama dan paling ketara ialah saluran paip CI, di mana ujian integrasi sedang dibangunkan perkhidmatan dijalankan dalam persekitaran pembangun/peringkat. Ini menyebabkan beberapa masalah:
Disebabkan oleh kecacatan dalam perkhidmatan tertentu semasa ujian penyepaduan, litar ujian mungkin rosak oleh data yang rosak. Terdapat kes apabila menghantar permintaan dengan format JSON yang rosak telah menyebabkan perkhidmatan tersebut ranap, yang menyebabkan pendirian tidak boleh beroperasi sepenuhnya.
Perlahan litar ujian apabila data ujian meningkat. Saya rasa tidak masuk akal untuk menerangkan contoh dengan membersihkan/mengembalikan pangkalan data. Dalam amalan saya, saya tidak menemui projek di mana prosedur ini berjalan lancar.
Risiko mengganggu kefungsian litar ujian apabila menguji tetapan sistem umum. Contohnya, dasar pengguna/kumpulan/kata laluan/aplikasi.
Data ujian daripada ujian automatik menyukarkan kehidupan penguji manual.
Sesetengah akan mengatakan bahawa autotest yang baik harus membersihkan data selepas diri mereka sendiri. Saya mempunyai hujah menentang:
Dirian dinamik sangat mudah digunakan.
Tidak semua objek boleh dialih keluar daripada sistem melalui API. Sebagai contoh, panggilan untuk memadam objek tidak dilaksanakan kerana ia bercanggah dengan logik perniagaan.
Apabila mencipta objek melalui API, sejumlah besar metadata boleh dibuat, yang bermasalah untuk dipadamkan.
Jika ujian mempunyai pergantungan antara mereka sendiri, maka proses pembersihan data selepas menjalankan ujian bertukar menjadi sakit kepala.
Panggilan tambahan (dan, pada pendapat saya, tidak wajar) kepada API.
Dan hujah utama: apabila data ujian mula dibersihkan terus dari pangkalan data. Ini bertukar menjadi sarkas PK/FK sebenar! Kami mendengar daripada pembangun: "Saya baru sahaja menambah/mengalih keluar/menamakan semula tanda, mengapakah 100500 ujian penyepaduan ditangkap?"
Pada pendapat saya, penyelesaian yang paling optimum ialah persekitaran yang dinamik.
Ramai orang menggunakan docker-compose untuk menjalankan persekitaran ujian, tetapi beberapa orang menggunakan docker-compose semasa menjalankan ujian integrasi dalam CI/CD. Dan di sini saya tidak mengambil kira kubernetes, swarm dan platform orkestrasi kontena lain. Tidak setiap syarikat mempunyainya. Alangkah baiknya jika docker-compose.yml bersifat universal.
Walaupun kita mempunyai pelari QA sendiri, bagaimana kita boleh memastikan bahawa perkhidmatan yang dilancarkan melalui karang docker tidak mengganggu satu sama lain?
Bagaimana untuk mengumpul log perkhidmatan yang diuji?
Bagaimana untuk membersihkan pelari?
Saya mempunyai pelari GitLab saya sendiri untuk projek saya dan saya menemui soalan ini semasa pembangunan pelanggan Java untuk UjianRail. Lebih tepat lagi, semasa menjalankan ujian integrasi. Di bawah ini kami akan menyelesaikan isu ini menggunakan contoh daripada projek ini.
Untuk pelari, saya mengesyorkan mesin maya Linux dengan 4 vCPU, 4 GB RAM, 50 GB HDD.
Terdapat banyak maklumat tentang menyediakan gitlab-runner di Internet, jadi secara ringkas:
Log masuk ke mesin melalui SSH
Jika anda mempunyai kurang daripada 8 GB RAM, maka saya syorkan buat swap 10 GBsupaya pembunuh OOM tidak datang dan membunuh tugas kami kerana kekurangan RAM. Ini boleh berlaku apabila lebih daripada 5 tugasan dilancarkan serentak. Tugasan akan berjalan dengan lebih perlahan, tetapi secara berterusan.
Contoh dengan pembunuh OOM
Jika anda lihat dalam log tugasan bash: line 82: 26474 Killed, kemudian laksanakan sahaja pada pelari sudo dmesg | grep 26474
[26474] 1002 26474 1061935 123806 339 0 0 java
Out of memory: Kill process 26474 (java) score 127 or sacrifice child
Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB
Dan jika gambar kelihatan seperti ini, maka sama ada tambah swap atau tambah RAM.
Ini akan membolehkan anda menjalankan tugasan selari pada satu pelari. Baca lagi di sini.
Jika anda mempunyai mesin yang lebih berkuasa, contohnya 8 vCPU, 16 GB RAM, maka nombor ini boleh dibuat sekurang-kurangnya 2 kali lebih besar. Tetapi semuanya bergantung pada apa sebenarnya yang akan dilancarkan pada pelari ini dan dalam kuantiti berapa.
Tugas utama ialah docker-compose.yml universal, yang boleh digunakan oleh pembangun/penguji secara tempatan dan dalam saluran paip CI.
Pertama sekali, kami membuat nama perkhidmatan unik untuk CI. Salah satu pembolehubah unik dalam GitLab CI ialah pembolehubah CI_JOB_ID. Jika anda nyatakan container_name dengan makna "service-${CI_JOB_ID:-local}", maka dalam kes:
jika CI_JOB_ID tidak ditakrifkan dalam pembolehubah persekitaran,
maka nama perkhidmatan akan menjadi service-local
jika CI_JOB_ID ditakrifkan dalam pembolehubah persekitaran (contohnya 123),
maka nama perkhidmatan akan menjadi service-123
Kedua, kami mencipta rangkaian biasa untuk perkhidmatan yang dilancarkan. Ini memberi kami pengasingan peringkat rangkaian apabila menjalankan berbilang persekitaran ujian.
Hasil daripada menjalankan tugas sedemikian, direktori log dalam artifak akan mengandungi log perkhidmatan dan ujian. Yang sangat mudah sekiranya berlaku kesilapan. Setiap ujian secara selari menulis lognya sendiri, tetapi saya akan membincangkannya secara berasingan.
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon ofβ¦" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoiβ¦" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.sβ¦" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.sβ¦" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon ofβ¦" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoiβ¦" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.sβ¦" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon ofβ¦" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoiβ¦" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.sβ¦" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon ofβ¦" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoiβ¦" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.sβ¦" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon ofβ¦" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoiβ¦" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.sβ¦" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon ofβ¦" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoiβ¦" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.sβ¦" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon ofβ¦" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoiβ¦" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.sβ¦" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539
Semua tugasan berjaya diselesaikan
Artifak tugas mengandungi log perkhidmatan dan ujian
Segala-galanya kelihatan cantik, tetapi ada nuansa. Saluran paip boleh dibatalkan secara paksa semasa ujian penyepaduan sedang dijalankan, dalam kes ini, bekas yang berjalan tidak akan dihentikan. Dari semasa ke semasa anda perlu membersihkan pelari. Malangnya, tugas untuk penambahbaikan dalam GitLab CE masih dalam status Buka
Tetapi kami telah menambah pelancaran tugas mengikut jadual, dan tiada siapa yang melarang kami menjalankannya secara manual.
Pergi ke projek kami -> CI/CD -> Jadual dan jalankan tugas Clean runner
Jumlah:
Kami mempunyai satu pelari cengkerang.
Tiada konflik antara tugas dan persekitaran.
Kami menjalankan tugas dengan ujian integrasi secara selari.
Anda boleh menjalankan ujian integrasi sama ada secara tempatan atau dalam bekas.
Log perkhidmatan dan ujian dikumpulkan dan dilampirkan pada tugas saluran paip.
Adalah mungkin untuk membersihkan pelari daripada imej Docker lama.
Masa persediaan ialah ~2 jam.
Itu sahaja, sebenarnya. Saya akan gembira menerima maklum balas.