Бұл мақала тестерлерді де, әзірлеушілерді де қызықтырады, бірақ негізінен инфрақұрылым ресурстарының жеткіліксіздігі және/немесе контейнердің жоқтығы жағдайында интеграциялық тестілеу үшін GitLab CI/CD орнату мәселесіне тап болған автоматтандыру мамандарына арналған. оркестрлік платформа. Мен сізге бір GitLab қабықша жүгіргішінде docker compose көмегімен сынақ орталарын орналастыруды қалай орнату керектігін айтып беремін және бірнеше орталарды орналастыру кезінде іске қосылған қызметтер бір-біріне кедергі жасамайды.
Мазмұны
Пререквизиттер
-
Менің тәжірибемде жобаларда интеграциялық тестілеуді «емдеу» жиі болатын. Көбінесе бірінші және ең маңызды мәселе - интеграциялық тестілеу жүргізілетін CI құбыры әзірленуде қызмет(тер) әзірлеу/кезең ортасында орындалады. Бұл біршама қиындықтар туғызды:
- Интеграциялық тестілеу кезінде белгілі бір қызметтегі ақауларға байланысты сынақ тізбегі бұзылған деректермен зақымдалуы мүмкін. Бұзылған JSON пішімі бар сұрауды жіберу қызметтің бұзылуына әкеліп соқтырған, бұл стендті толығымен жұмыс істемейтін жағдайлар болды.
- Сынақ деректері артқан сайын сынақ тізбегінің баяулауы. Дерекқорды тазалау/қайтару арқылы мысалды сипаттаудың мағынасы жоқ деп ойлаймын. Менің тәжірибемде мен бұл процедура біркелкі өткен жобаны кездестірген жоқпын.
- Жалпы жүйе параметрлерін сынау кезінде сынақ тізбегінің функционалдығын бұзу қаупі. Мысалы, пайдаланушы/топ/құпия сөз/қолданба саясаты.
- Автоматтандырылған сынақтардан алынған сынақ деректері қолмен тестілеушілердің өмірін қиындатады.
Кейбіреулер жақсы автотесттер деректерді өздерінен кейін тазалауы керек дейді. Менің қарсы дәлелдерім бар:
- Динамикалық стендтерді пайдалану өте ыңғайлы.
- Әрбір нысанды API арқылы жүйеден жою мүмкін емес. Мысалы, нысанды жоюға шақыру іске асырылмады, себебі ол бизнес логикасына қайшы келеді.
- API арқылы нысанды жасау кезінде метадеректердің үлкен көлемін жасауға болады, оларды жою қиын.
- Егер сынақтардың бір-біріне тәуелділігі болса, сынақтарды орындағаннан кейін деректерді тазалау процесі бас ауруына айналады.
- API-ге қосымша (және, менің ойымша, ақталмаған) қоңыраулар.
- Ал негізгі аргумент: сынақ деректері тікелей дерекқордан тазартыла бастағанда. Бұл нағыз PK/FK циркіне айналады! Әзірлеушілерден: «Мен жаңа ғана белгіні қостым/өшірдім/атын өзгерттім, неге 100500 XNUMX интеграциялық сынақ ұсталды?»
Менің ойымша, ең оңтайлы шешім - динамикалық орта.
- Көптеген адамдар сынақ ортасын іске қосу үшін docker-compose пайдаланады, бірақ CI/CD жүйесінде интеграциялық тестілеуді жүргізу кезінде аз адамдар docker-compose пайдаланады. Бұл жерде мен кубернеттерді, үйірлерді және басқа контейнерлік оркестрлік платформаларды есепке алмаймын. Әрбір компанияда олар жоқ. docker-compose.yml әмбебап болса жақсы болар еді.
- Біздің жеке QA жүгірушісі болса да, docker-compose арқылы іске қосылған қызметтер бір-біріне кедергі келтірмейтініне қалай көз жеткізе аламыз?
- Тексерілген қызметтердің журналдарын қалай жинауға болады?
- Жүгіргішті қалай тазалау керек?
Менің жобаларым үшін өзімнің GitLab жүгірушісім бар және мен әзірлеу кезінде осы сұрақтарға тап болдым үшін . Дәлірек айтқанда, интеграциялық сынақтарды орындау кезінде. Төменде біз осы жобадағы мысалдар арқылы осы мәселелерді шешеміз.
GitLab Shell Runner
Жүгіруші үшін 4 vCPU, 4 ГБ жедел жады, 50 ГБ HDD бар Linux виртуалды машинасын ұсынамын.
Интернетте gitlab-runner орнату туралы көптеген ақпарат бар, сондықтан қысқаша:
- SSH арқылы құрылғыға кіріңіз
-
Егер сізде 8 ГБ-тан аз жедел жады болса, мен ұсынамын OOM өлтіруші келіп, жедел жадтың жетіспеушілігіне байланысты біздің тапсырмаларды өлтірмеуі үшін. Бұл 5-тен астам тапсырма бір уақытта іске қосылғанда орын алуы мүмкін. Тапсырмалар баяу, бірақ тұрақты түрде орындалады.
OOM өлтірушісі бар мысал
Тапсырма журналдарында көрсеңіз
bash: line 82: 26474 Killed, содан кейін жүгірушіде орындаңызsudo dmesg | grep 26474[26474] 1002 26474 1061935 123806 339 0 0 java Out of memory: Kill process 26474 (java) score 127 or sacrifice child Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kBАл егер сурет осындай болса, не своп қосыңыз немесе RAM қосыңыз.
- Орнату , , , жасау.
- Пайдаланушы қосу
gitlab-runnerтобынаdockersudo groupadd docker sudo usermod -aG docker gitlab-runner - gitlab жүгірушісі.
-
Өңдеу үшін ашық
/etc/gitlab-runner/config.tomlжәне қосыңызconcurrent=20 [[runners]] request_concurrency = 10Бұл бір жүгірушіде параллель тапсырмаларды орындауға мүмкіндік береді. Ары қарай оқу .
Егер сізде неғұрлым қуатты машина болса, мысалы, 8 vCPU, 16 ГБ жедел жады, онда бұл сандарды кем дегенде 2 есе көбейтуге болады. Бірақ бәрі осы жүгірушіде нақты не және қандай мөлшерде іске қосылатынына байланысты.
Бұл жеткілікті.
docker-compose.yml дайындалуда
Негізгі тапсырма әмбебап docker-compose.yml болып табылады, оны әзірлеушілер/тестшілер жергілікті түрде де, CI құбырында да пайдалана алады.
Ең алдымен, біз CI үшін бірегей қызмет атауларын жасаймыз. GitLab CI жүйесіндегі бірегей айнымалылардың бірі айнымалы болып табылады CI_JOB_ID. Егер сіз анықтасаңыз container_name мәнімен бірге "service-${CI_JOB_ID:-local}", содан кейін жағдайда:
- егер болса
CI_JOB_IDорта айнымалыларында анықталмаған,
содан кейін қызмет атауы боладыservice-local - егер болса
CI_JOB_IDортаның айнымалы мәндерінде анықталған (мысалы, 123),
содан кейін қызмет атауы боладыservice-123
Екіншіден, біз іске қосылған қызметтердің ортақ желісін жасаймыз. Бұл бірнеше сынақ орталарын іске қосқан кезде бізге желі деңгейіндегі оқшаулауды береді.
networks:
default:
external:
name: service-network-${CI_JOB_ID:-local}Шын мәнінде, бұл табысқа жетудің алғашқы қадамы =)
Түсініктемелері бар docker-compose.yml мысалы
version: "3"
# Для корректной работы web (php) и fmt нужно,
# чтобы контейнеры имели общий исполняемый контент.
# В нашем случае, это директория /var/www/testrail
volumes:
static-content:
# Изолируем окружение на сетевом уровне
networks:
default:
external:
name: testrail-network-${CI_JOB_ID:-local}
services:
db:
image: mysql:5.7.22
# Каждый container_name содержит ${CI_JOB_ID:-local}
container_name: "testrail-mysql-${CI_JOB_ID:-local}"
environment:
MYSQL_HOST: db
MYSQL_DATABASE: mydb
MYSQL_ROOT_PASSWORD: 1234
SKIP_GRANT_TABLES: 1
SKIP_NETWORKING: 1
SERVICE_TAGS: dev
SERVICE_NAME: mysql
networks:
- default
migration:
image: registry.gitlab.com/touchbit/image/testrail/migration:latest
container_name: "testrail-migration-${CI_JOB_ID:-local}"
links:
- db
depends_on:
- db
networks:
- default
fpm:
image: registry.gitlab.com/touchbit/image/testrail/fpm:latest
container_name: "testrail-fpm-${CI_JOB_ID:-local}"
volumes:
- static-content:/var/www/testrail
links:
- db
networks:
- default
web:
image: registry.gitlab.com/touchbit/image/testrail/web:latest
container_name: "testrail-web-${CI_JOB_ID:-local}"
# Если переменные TR_HTTP_PORT или TR_HTTPS_PORTS не определены,
# то сервис поднимается на 80 и 443 порту соответственно.
ports:
- ${TR_HTTP_PORT:-80}:80
- ${TR_HTTPS_PORT:-443}:443
volumes:
- static-content:/var/www/testrail
links:
- db
- fpm
networks:
- defaultЖергілікті іске қосу мысалы
docker-compose -f docker-compose.yml up -d
Starting testrail-mysql-local ... done
Starting testrail-migration-local ... done
Starting testrail-fpm-local ... done
Recreating testrail-web-local ... doneБірақ CI-де іске қосудың бәрі оңай емес.
Makefile файлын дайындау
Мен Makefile қолданамын, себебі ол жергілікті ортаны басқару үшін де, CI үшін де өте ыңғайлы. Қосымша онлайн пікірлер
# У меня в проектах все вспомогательные вещи лежат в директории `.indirect`,
# в том числе и `docker-compose.yml`
# Использовать bash с опцией pipefail
# pipefail - фейлит выполнение пайпа, если команда выполнилась с ошибкой
SHELL=/bin/bash -o pipefail
# Останавливаем контейнеры и удаляем сеть
docker-kill:
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm network-$${CI_JOB_ID:-testrail} || true
# Предварительно выполняем docker-kill
docker-up: docker-kill
# Создаем сеть для окружения
docker network create network-$${CI_JOB_ID:-testrail}
# Забираем последние образы из docker-registry
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml pull
# Запускаем окружение
# force-recreate - принудительное пересоздание контейнеров
# renew-anon-volumes - не использовать volumes предыдущих контейнеров
docker-compose -f $${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
# Ну и, на всякий случай, вывести что там у нас в принципе запущено на машинке
docker ps
# Коллектим логи сервисов
docker-logs:
mkdir ./logs || true
docker logs testrail-web-$${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-$${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-$${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-$${CI_JOB_ID:-local} >& logs/testrail-mysql.log
# Очистка раннера
docker-clean:
@echo Останавливаем все testrail-контейнеры
docker kill $$(docker ps --filter=name=testrail -q) || true
@echo Очистка докер контейнеров
docker rm -f $$(docker ps -a -f --filter=name=testrail status=exited -q) || true
@echo Очистка dangling образов
docker rmi -f $$(docker images -f "dangling=true" -q) || true
@echo Очистка testrail образов
docker rmi -f $$(docker images --filter=reference='registry.gitlab.com/touchbit/image/testrail/*' -q) || true
@echo Очистка всех неиспользуемых volume
docker volume rm -f $$(docker volume ls -q) || true
@echo Очистка всех testrail сетей
docker network rm $(docker network ls --filter=name=testrail -q) || true
docker ps
Тексеру
докер жасау
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
Killing testrail-web-local ... done
Killing testrail-fpm-local ... done
Killing testrail-mysql-local ... done
docker network rm network-${CI_JOB_ID:-testrail} || true
network-testrail
docker network create network-${CI_JOB_ID:-testrail}
d2ec063324081c8bbc1b08fd92242c2ea59d70cf4025fab8efcbc5c6360f083f
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling db ... done
Pulling migration ... done
Pulling fpm ... done
Pulling web ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Recreating testrail-mysql-local ... done
Recreating testrail-fpm-local ... done
Recreating testrail-migration-local ... done
Recreating testrail-web-local ... done
docker ps
CONTAINER ID PORTS NAMES
a845d3cb0e5a 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp testrail-web-local
19d8ef001398 9000/tcp testrail-fpm-local
e28840a2369c 3306/tcp, 33060/tcp testrail-migration-local
0e7900c23f37 3306/tcp testrail-mysql-local
докер журналдарын жасаңыз
$ make docker-logs
mkdir ./logs || true
mkdir: cannot create directory ‘./logs’: File exists
docker logs testrail-web-${CI_JOB_ID:-local} >& logs/testrail-web.log
docker logs testrail-fpm-${CI_JOB_ID:-local} >& logs/testrail-fpm.log
docker logs testrail-migration-${CI_JOB_ID:-local} >& logs/testrail-migration.log
docker logs testrail-mysql-${CI_JOB_ID:-local} >& logs/testrail-mysql.log
.gitlab-ci.yml дайындалуда
Интеграциялық сынақтарды орындау
Integration:
stage: test
tags:
- my-shell-runner
before_script:
# Аутентифицируемся в registry
- docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
# Генерируем псевдоуникальные TR_HTTP_PORT и TR_HTTPS_PORT
- export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
- export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
# создаем директорию с идентификатором задачи
- mkdir ${CI_JOB_ID}
# копируем в созданную директорию наш docker-compose.yml
# чтобы контекст был разный для каждой задачи
- cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
script:
# поднимаем наше окружение
- make docker-up
# запускаем тесты исполняемым jar (у меня так)
- java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT}
# или в контейнере
- docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest
after_script:
# собираем логи
- make docker-logs
# останавливаем окружение
- make docker-kill
artifacts:
# сохраняем логи
when: always
paths:
- logs
expire_in: 30 daysОсындай тапсырманы орындау нәтижесінде артефактілердегі журналдар каталогында қызмет және сынақ журналдары болады. Бұл қателер болған жағдайда өте ыңғайлы. Әр тест параллельді түрде өз журналын жазады, бірақ мен бұл туралы бөлек айтамын.
Жүгірушіні тазалау
Тапсырма тек кесте бойынша іске қосылады.
stages:
- clean
- build
- test
Clean runner:
stage: clean
only:
- schedules
tags:
- my-shell-runner
script:
- make docker-cleanӘрі қарай, GitLab жобасына өтіңіз -> CI/CD -> Кестелер -> Жаңа кесте және жаңа кесте қосыңыз
нәтиже
GitLab CI жүйесінде 4 тапсырманы іске қосу
Интеграциялық сынақтары бар соңғы тапсырманың журналдарында біз әртүрлі тапсырмалардан контейнерлерді көреміз
CONTAINER ID NAMES
c6b76f9135ed testrail-web-204645172
01d303262d8e testrail-fpm-204645172
2cdab1edbf6a testrail-migration-204645172
826aaf7c0a29 testrail-mysql-204645172
6dbb3fae0322 testrail-web-204645084
3540f8d448ce testrail-fpm-204645084
70fea72aa10d testrail-mysql-204645084
d8aa24b2892d testrail-web-204644881
6d4ccd910fad testrail-fpm-204644881
685d8023a3ec testrail-mysql-204644881
1cdfc692003a testrail-web-204644793
6f26dfb2683e testrail-fpm-204644793
029e16b26201 testrail-mysql-204644793
c10443222ac6 testrail-web-204567103
04339229397e testrail-fpm-204567103
6ae0accab28d testrail-mysql-204567103
b66b60d79e43 testrail-web-204553690
033b1f46afa9 testrail-fpm-204553690
a8879c5ef941 testrail-mysql-204553690
069954ba6010 testrail-web-204553539
ed6b17d911a5 testrail-fpm-204553539
1a1eed057ea0 testrail-mysql-204553539Толығырақ журнал
$ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY}
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
$ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1)
$ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1)
$ mkdir ${CI_JOB_ID}
$ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml
$ make docker-up
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill
docker network rm testrail-network-${CI_JOB_ID:-local} || true
Error: No such network: testrail-network-204645172
docker network create testrail-network-${CI_JOB_ID:-local}
0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull
Pulling web ... done
Pulling fpm ... done
Pulling migration ... done
Pulling db ... done
docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d
Creating volume "204645172_static-content" with default driver
Creating testrail-mysql-204645172 ...
Creating testrail-mysql-204645172 ... done
Creating testrail-migration-204645172 ... done
Creating testrail-fpm-204645172 ... done
Creating testrail-web-204645172 ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp testrail-web-204645172
01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp testrail-fpm-204645172
2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp testrail-migration-204645172
826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp testrail-mysql-204645172
6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp testrail-web-204645084
3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp testrail-fpm-204645084
70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp testrail-mysql-204645084
d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp testrail-web-204644881
6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644881
685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644881
1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp testrail-web-204644793
6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp testrail-fpm-204644793
029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp testrail-mysql-204644793
c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp testrail-web-204567103
04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204567103
6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204567103
b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp testrail-web-204553690
033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553690
a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553690
069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp testrail-web-204553539
ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp testrail-fpm-204553539
1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp testrail-mysql-204553539Барлық тапсырмалар сәтті орындалды
Тапсырма артефактілері қызмет және сынақ журналдарын қамтиды
Барлығы әдемі сияқты, бірақ бір нюанс бар. Интеграциялық сынақтар орындалып жатқанда құбырды мәжбүрлеп тоқтатуға болады, бұл жағдайда жұмыс істейтін контейнерлер тоқтатылмайды. Уақыт өте келе жүгіргішті тазалау керек. Өкінішке орай, GitLab CE жүйесін жетілдіру міндеті әлі де күйінде
Бірақ біз кестеге сәйкес тапсырманы іске қосуды қостық және оны қолмен орындауға ешкім тыйым салмайды.
Біздің жобаға өтіңіз -> CI/CD -> Кестелер және тапсырманы іске қосыңыз Clean runner
Барлығы:
- Бізде бір снаряд бар.
- Тапсырмалар мен қоршаған орта арасында қайшылықтар жоқ.
- Біз біріктіру сынақтары бар тапсырмаларды параллель орындаймыз.
- Біріктіру сынақтарын жергілікті немесе контейнерде іске қосуға болады.
- Қызметтік және сынақ журналдары жиналады және құбыр тапсырмасына бекітіледі.
- Жүгіргішті ескі Docker кескіндерінен тазалауға болады.
Орнату уақыты ~2 сағат.
Мұның бәрі, шын мәнінде. Мен кері байланыс алуға қуаныштымын.
Ақпарат көзі: www.habr.com