Prohoster > Blog > quản lý > Á hậu vỏ GitLab. Ra mắt cạnh tranh các dịch vụ đã được thử nghiệm bằng Docker Compose
Á hậu vỏ GitLab. Ra mắt cạnh tranh các dịch vụ đã được thử nghiệm bằng Docker Compose
Bài viết này sẽ được cả người thử nghiệm và nhà phát triển quan tâm, nhưng chủ yếu dành cho các chuyên gia tự động hóa đang gặp phải vấn đề thiết lập GitLab CI/CD để thử nghiệm tích hợp trong điều kiện không đủ tài nguyên cơ sở hạ tầng và/hoặc không có sự điều phối vùng chứa nền tảng. Tôi sẽ cho bạn biết cách thiết lập triển khai môi trường thử nghiệm bằng cách sử dụng docker soạn trên một trình chạy shell GitLab duy nhất và để khi triển khai một số môi trường, các dịch vụ đã khởi chạy không ảnh hưởng lẫn nhau.
Trong thực tế của tôi, việc kiểm thử tích hợp thường được “xử lý” trong các dự án. Và thường thì vấn đề đầu tiên và quan trọng nhất là quy trình CI, trong đó thử nghiệm tích hợp được phát triển (các) dịch vụ được thực hiện trong môi trường phát triển/giai đoạn. Điều này gây ra khá nhiều vấn đề:
Do lỗi của một dịch vụ cụ thể trong quá trình thử nghiệm tích hợp, mạch thử nghiệm có thể bị hỏng do dữ liệu bị hỏng. Có những trường hợp khi gửi yêu cầu có định dạng JSON bị hỏng sẽ làm dịch vụ bị hỏng, khiến quầy hoàn toàn không thể hoạt động.
Mạch thử nghiệm chậm lại khi dữ liệu thử nghiệm tăng lên. Tôi nghĩ sẽ vô nghĩa khi mô tả một ví dụ về việc dọn dẹp/khôi phục cơ sở dữ liệu. Trong thực tế, tôi chưa gặp dự án nào mà quy trình này diễn ra suôn sẻ.
Nguy cơ làm gián đoạn chức năng của mạch thử nghiệm khi thử nghiệm các cài đặt chung của hệ thống. Ví dụ: chính sách người dùng/nhóm/mật khẩu/ứng dụng.
Dữ liệu thử nghiệm từ các thử nghiệm tự động gây khó khăn cho người thử nghiệm thủ công.
Một số người sẽ nói rằng các cuộc kiểm tra tự động tốt sẽ tự làm sạch dữ liệu. Tôi có lập luận chống lại:
Giá đỡ năng động rất thuận tiện để sử dụng.
Không phải mọi đối tượng đều có thể bị xóa khỏi hệ thống thông qua API. Ví dụ: lệnh gọi xóa một đối tượng không được triển khai vì nó mâu thuẫn với logic nghiệp vụ.
Khi tạo một đối tượng thông qua API, một lượng lớn siêu dữ liệu có thể được tạo ra, việc xóa rất khó khăn.
Nếu các thử nghiệm có sự phụ thuộc lẫn nhau thì quá trình làm sạch dữ liệu sau khi chạy thử nghiệm sẽ trở nên đau đầu.
Các lệnh gọi bổ sung (và theo ý kiến của tôi là không hợp lý) tới API.
Và đối số chính: khi dữ liệu thử nghiệm bắt đầu bị xóa trực tiếp khỏi cơ sở dữ liệu. Đây đang trở thành một rạp xiếc PK/FK thực sự! Chúng tôi nhận được phản hồi từ các nhà phát triển: “Tôi vừa thêm/xóa/đổi tên một bảng hiệu, tại sao 100500 bài kiểm tra tích hợp lại bị phát hiện?”
Theo tôi, giải pháp tối ưu nhất chính là môi trường năng động.
Nhiều người sử dụng docker-compose để chạy môi trường thử nghiệm, nhưng ít người sử dụng docker-compose khi tiến hành thử nghiệm tích hợp trong CI/CD. Và ở đây tôi không tính đến kubernetes, bầy đàn và các nền tảng điều phối vùng chứa khác. Không phải mọi công ty đều có chúng. Sẽ thật tuyệt nếu docker-compose.yml có tính phổ biến.
Ngay cả khi chúng tôi có trình chạy QA của riêng mình, làm cách nào chúng tôi có thể đảm bảo rằng các dịch vụ được khởi chạy qua docker-compose không ảnh hưởng lẫn nhau?
Làm thế nào để thu thập nhật ký của các dịch vụ được thử nghiệm?
Làm thế nào để làm sạch Á hậu?
Tôi có người chạy GitLab riêng cho các dự án của mình và tôi đã gặp phải những câu hỏi này trong quá trình phát triển Máy khách Java cho Kiểm tra đường sắt. Chính xác hơn là khi chạy thử nghiệm tích hợp. Dưới đây chúng tôi sẽ giải quyết những vấn đề này bằng cách sử dụng các ví dụ từ dự án này.
Đối với người chạy bộ, tôi khuyên dùng máy ảo Linux có 4 vCPU, RAM 4 GB, ổ cứng 50 GB.
Có rất nhiều thông tin về việc thiết lập gitlab-runner trên Internet, rất ngắn gọn:
Đăng nhập vào máy thông qua SSH
Nếu bạn có RAM dưới 8 GB thì tôi khuyên bạn nên thực hiện trao đổi 10 GBđể kẻ sát nhân OOM không đến và giết chết nhiệm vụ của chúng ta do thiếu RAM. Điều này có thể xảy ra khi có hơn 5 tác vụ được khởi chạy cùng lúc. Các nhiệm vụ sẽ tiến triển chậm hơn, nhưng đều đặn.
Ví dụ với sát thủ OOM
Nếu bạn thấy trong nhật ký tác vụ bash: line 82: 26474 Killed, sau đó chỉ cần thực thi trên trình chạy sudo dmesg | grep 26474
[26474] 1002 26474 1061935 123806 339 0 0 java
Out of memory: Kill process 26474 (java) score 127 or sacrifice child
Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB
Và nếu hình ảnh trông giống như thế này thì hãy thêm trao đổi hoặc thêm RAM.
Điều này sẽ cho phép bạn chạy các tác vụ song song trên một đường chạy. Đọc thêm đây.
Nếu bạn có một máy mạnh hơn, chẳng hạn như 8 vCPU, RAM 16 GB, thì những con số này có thể lớn hơn ít nhất 2 lần. Nhưng tất cả phụ thuộc vào chính xác những gì sẽ được tung ra trên Á hậu này và với số lượng bao nhiêu.
Nhiệm vụ chính là docker-compose.yml phổ quát, mà các nhà phát triển/người thử nghiệm có thể sử dụng cả cục bộ và trong quy trình CI.
Trước hết, chúng tôi tạo tên dịch vụ duy nhất cho CI. Một trong những biến duy nhất trong GitLab CI là biến CI_JOB_ID. Nếu bạn chỉ định container_name với ý nghĩa "service-${CI_JOB_ID:-local}", thì trong trường hợp:
nếu CI_JOB_ID không được xác định trong các biến môi trường,
thì tên dịch vụ sẽ là service-local
nếu CI_JOB_ID được xác định trong các biến môi trường (ví dụ 123),
thì tên dịch vụ sẽ là service-123
Thứ hai, chúng tôi tạo ra một mạng lưới chung cho các dịch vụ được triển khai. Điều này mang lại cho chúng tôi sự cô lập ở cấp độ mạng khi chạy nhiều môi trường thử nghiệm.
Thực ra đây là bước đầu tiên dẫn đến thành công =)
Ví dụ về docker-compose.yml của tôi có nhận xét
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- default
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 days
Do việc chạy một tác vụ như vậy, thư mục nhật ký trong các tạo phẩm sẽ chứa nhật ký dịch vụ và kiểm tra. Điều này rất thuận tiện trong trường hợp có lỗi. Mỗi bài kiểm tra song song ghi nhật ký riêng của nó, nhưng tôi sẽ nói riêng về vấn đề này.
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539
Tất cả các nhiệm vụ đã hoàn thành thành công
Các tạo phẩm tác vụ chứa nhật ký dịch vụ và kiểm tra
Mọi thứ dường như đều đẹp, nhưng vẫn có một sắc thái. Đường ống có thể bị hủy bắt buộc trong khi các thử nghiệm tích hợp đang chạy, trong trường hợp đó các container đang chạy sẽ không bị dừng. Thỉnh thoảng bạn cần phải làm sạch Á hậu. Thật không may, nhiệm vụ cải tiến trong GitLab CE vẫn còn ở trạng thái Mở
Nhưng chúng tôi đã thêm tính năng khởi chạy nhiệm vụ theo lịch trình và không ai cấm chúng tôi chạy thủ công.
Đi tới dự án của chúng tôi -> CI/CD -> Lên lịch và chạy tác vụ Clean runner
Tổng số:
Chúng tôi có một người chạy vỏ.
Không có xung đột giữa nhiệm vụ và môi trường.
Chúng tôi chạy song song các nhiệm vụ với các thử nghiệm tích hợp.
Bạn có thể chạy thử nghiệm tích hợp cục bộ hoặc trong vùng chứa.
Nhật ký dịch vụ và kiểm tra được thu thập và đính kèm với nhiệm vụ đường ống.
Có thể xóa Á hậu khỏi hình ảnh Docker cũ.
Thời gian thiết lập là ~ 2 giờ.
Thực ra đó là tất cả. Tôi sẽ rất vui khi nhận được phản hồi.