நாங்கள் பணிபுரியும் ஆன்லைன் வீடியோ உள்ளடக்க பரிந்துரை அமைப்பு ஒரு மூடிய வணிக வளர்ச்சியாகும், மேலும் இது தொழில்நுட்ப ரீதியாக தனியுரிம மற்றும் திறந்த மூல கூறுகளின் பல கூறுகளின் தொகுப்பாகும். இந்த கட்டுரையை எழுதுவதன் நோக்கம், ஒரு குறிப்பிட்ட நேரத்தில் எங்கள் செயல்முறைகளின் நிறுவப்பட்ட பணிப்பாய்வுக்கு இடையூறு விளைவிக்காமல், ஒரு ஸ்டேஜிங் தளத்திற்கான டாக்கர் ஸ்வார்ம் கிளஸ்டரிங் சிஸ்டத்தை செயல்படுத்துவதை விவரிப்பதாகும். உங்கள் கவனத்திற்கு வழங்கப்பட்ட கதை இரண்டு பகுதிகளாக பிரிக்கப்பட்டுள்ளது. டோக்கர் ஸ்வார்மைப் பயன்படுத்துவதற்கு முன் முதல் பகுதி CI / CD ஐ விவரிக்கிறது, இரண்டாவது அதை செயல்படுத்தும் செயல்முறையை விவரிக்கிறது. முதல் பகுதியைப் படிக்க ஆர்வமில்லாதவர்கள் பாதுகாப்பாக இரண்டாவது பகுதிக்குச் செல்லலாம்.
பகுதி I.
தொலைதூர, தொலைதூர ஆண்டில், CI / CD செயல்முறையை விரைவாக அமைக்க வேண்டியது அவசியம். டோக்கரைப் பயன்படுத்தக்கூடாது என்பது நிபந்தனைகளில் ஒன்றாகும் வரிசைப்படுத்தலுக்கு பல காரணங்களுக்காக உருவாக்கப்பட்ட கூறுகள்:
- உற்பத்தியில் உள்ள கூறுகளின் மிகவும் நம்பகமான மற்றும் நிலையான செயல்பாட்டிற்கு (அதாவது, மெய்நிகராக்கத்தைப் பயன்படுத்தக்கூடாது)
- முன்னணி டெவலப்பர்கள் டோக்கருடன் வேலை செய்ய விரும்பவில்லை (விசித்திரமானது, ஆனால் அது அப்படித்தான்)
- R&D நிர்வாகத்தின் கருத்தியல் கருத்தாக்கங்களின்படி
எம்விபிக்கான உள்கட்டமைப்பு, அடுக்கு மற்றும் தோராயமான ஆரம்ப தேவைகள் பின்வருமாறு அளிக்கப்பட்டன:
- Debian உடன் 4 Intel® X5650 சர்வர்கள் (இன்னும் ஒரு சக்திவாய்ந்த இயந்திரம் முழுமையாக உருவாக்கப்பட்டுள்ளது)
- சொந்த தனிப்பயன் கூறுகளின் வளர்ச்சி C ++, Python3 இல் மேற்கொள்ளப்படுகிறது
- பயன்படுத்தப்படும் முக்கிய மூன்றாம் தரப்பு கருவிகள்: காஃப்கா, கிளிக்ஹவுஸ், ஏர்ஃப்ளோ, ரெடிஸ், கிராஃபானா, போஸ்ட்கிரெஸ்க்ல், மைஸ்க்ல், …
- பிழைத்திருத்தம் மற்றும் வெளியீட்டிற்காக தனித்தனியாக கூறுகளை உருவாக்க மற்றும் சோதனை செய்வதற்கான பைப்லைன்கள்
எந்தவொரு சூழலிலும் (CI/CD) தனிப்பயன் கூறுகள் எவ்வாறு பயன்படுத்தப்படும் என்பது ஆரம்ப கட்டத்தில் கவனிக்கப்பட வேண்டிய முதல் கேள்விகளில் ஒன்றாகும்.
மூன்றாம் தரப்பு கூறுகளை முறையாக நிறுவவும், அவற்றை முறையாக புதுப்பிக்கவும் முடிவு செய்தோம். C++ அல்லது Python இல் உருவாக்கப்பட்ட தனிப்பயன் பயன்பாடுகள் பல வழிகளில் பயன்படுத்தப்படலாம். அவற்றில், எடுத்துக்காட்டாக: கணினி தொகுப்புகளை உருவாக்குதல், கட்டமைக்கப்பட்ட படங்களின் களஞ்சியத்திற்கு அனுப்புதல் மற்றும் பின்னர் அவற்றை சேவையகங்களில் நிறுவுதல். அறியப்படாத காரணத்திற்காக, மற்றொரு முறை தேர்வு செய்யப்பட்டது, அதாவது: CI ஐப் பயன்படுத்தி, பயன்பாட்டு இயங்கக்கூடிய கோப்புகள் தொகுக்கப்படுகின்றன, ஒரு மெய்நிகர் திட்டச் சூழல் உருவாக்கப்படுகிறது, py தொகுதிகள் requirements.txt இலிருந்து நிறுவப்படுகின்றன, மேலும் இந்த அனைத்து கலைப்பொருட்களும் கட்டமைப்புகள், ஸ்கிரிப்டுகள் மற்றும் தி. சேவையகங்களுக்கு பயன்பாட்டு சூழலுடன் இணைந்துள்ளது. அடுத்து, நிர்வாகி உரிமைகள் இல்லாமல் ஒரு மெய்நிகர் பயனராக பயன்பாடுகள் தொடங்கப்படுகின்றன.
கிட்லாப்-சிஐ சிஐ/சிடி அமைப்பாகத் தேர்ந்தெடுக்கப்பட்டது. இதன் விளைவாக வரும் குழாய் இது போன்றது:
கட்டமைப்பு ரீதியாக, gitlab-ci.yml இப்படி இருந்தது
---
variables:
# минимальная версия ЦПУ на серверах, где разворачивается кластер
CMAKE_CPUTYPE: "westmere"
DEBIAN: "MYREGISTRY:5000/debian:latest"
before_script:
- eval $(ssh-agent -s)
- ssh-add <(echo "$SSH_PRIVATE_KEY")
- mkdir -p ~/.ssh && echo -e "Host *ntStrictHostKeyChecking nonn" > ~/.ssh/config
stages:
- build
- testing
- deploy
debug.debian:
stage: build
image: $DEBIAN
script:
- cd builds/release && ./build.sh
paths:
- bin/
- builds/release/bin/
when: always
release.debian:
stage: build
image: $DEBIAN
script:
- cd builds/release && ./build.sh
paths:
- bin/
- builds/release/bin/
when: always
## testing stage
tests.codestyle:
stage: testing
image: $DEBIAN
dependencies:
- release.debian
script:
- /bin/bash run_tests.sh -t codestyle -b "${CI_COMMIT_REF_NAME}_codestyle"
tests.debug.debian:
stage: testing
image: $DEBIAN
dependencies:
- debug.debian
script:
- /bin/bash run_tests.sh -e codestyle/test_pylint.py -b "${CI_COMMIT_REF_NAME}_debian_debug"
artifacts:
paths:
- run_tests/username/
when: always
expire_in: 1 week
tests.release.debian:
stage: testing
image: $DEBIAN
dependencies:
- release.debian
script:
- /bin/bash run_tests.sh -e codestyle/test_pylint.py -b "${CI_COMMIT_REF_NAME}_debian_release"
artifacts:
paths:
- run_tests/username/
when: always
expire_in: 1 week
## staging stage
deploy_staging:
stage: deploy
environment: staging
image: $DEBIAN
dependencies:
- release.debian
script:
- cd scripts/deploy/ &&
python3 createconfig.py -s $CI_ENVIRONMENT_NAME &&
/bin/bash install_venv.sh -d -r ../../requirements.txt &&
python3 prepare_init.d.py &&
python3 deploy.py -s $CI_ENVIRONMENT_NAME
when: manual
அசெம்பிளி மற்றும் சோதனை அதன் சொந்த படத்தில் மேற்கொள்ளப்படுகிறது என்பது குறிப்பிடத்தக்கது, அங்கு தேவையான அனைத்து கணினி தொகுப்புகளும் ஏற்கனவே நிறுவப்பட்டுள்ளன மற்றும் பிற அமைப்புகள் செய்யப்பட்டுள்ளன.
வேலைகளில் உள்ள இந்த ஸ்கிரிப்ட்கள் ஒவ்வொன்றும் அதன் சொந்த வழியில் சுவாரஸ்யமாக இருந்தாலும், நிச்சயமாக நான் அவற்றைப் பற்றி பேசமாட்டேன், அவை ஒவ்வொன்றின் விளக்கமும் நிறைய நேரம் எடுக்கும், இது கட்டுரையின் நோக்கம் அல்ல. வரிசைப்படுத்தல் நிலை அழைப்பு ஸ்கிரிப்ட்களின் வரிசையைக் கொண்டுள்ளது என்பதில் மட்டுமே நான் உங்கள் கவனத்தை ஈர்க்கிறேன்:
- createconfig.py - பல்வேறு சூழல்களில் கூறு அமைப்புகளுடன் ஒரு settings.ini கோப்பை உருவாக்குகிறது.
- install_venv.sh - ஒரு குறிப்பிட்ட கோப்பகத்தில் பை கூறுகளுக்கான மெய்நிகர் சூழலை உருவாக்கி தொலை சேவையகங்களுக்கு நகலெடுக்கிறது
- தயார்_init.d.py - வார்ப்புருவின் அடிப்படையில் கூறு தொடக்க-நிறுத்த ஸ்கிரிப்ட்களைத் தயாரிக்கிறது
- deploy.py - புதிய கூறுகளை சிதைத்து மறுதொடக்கம் செய்கிறது
நேரம் சென்றது. ஸ்டேஜிங் நிலை முன் தயாரிப்பு மற்றும் தயாரிப்பால் மாற்றப்பட்டது. மேலும் ஒரு விநியோகத்தில் (CentOS) தயாரிப்புக்கான ஆதரவு சேர்க்கப்பட்டது. மேலும் 5 சக்திவாய்ந்த இயற்பியல் சேவையகங்கள் மற்றும் ஒரு டஜன் மெய்நிகர் சேவைகள் சேர்க்கப்பட்டது. மேலும் டெவலப்பர்கள் மற்றும் சோதனையாளர்கள் பணிபுரியும் நிலைக்கு அதிகமாகவோ அல்லது குறைவாகவோ நெருக்கமான சூழலில் தங்கள் பணிகளைச் சோதிப்பது மேலும் மேலும் கடினமாகிவிட்டது. இந்த நேரத்தில், அவர் இல்லாமல் செய்ய முடியாது என்பது தெளிவாகியது ...
பகுதி II
எனவே, எங்கள் கிளஸ்டர் என்பது டாக்கர்ஃபைல்களால் விவரிக்கப்படாத இரண்டு டஜன் தனித்தனி கூறுகளின் கண்கவர் அமைப்பாகும். பொதுவாக ஒரு குறிப்பிட்ட சூழலுக்கு மட்டுமே நீங்கள் அதை உள்ளமைக்க முடியும். வெளியீட்டிற்கு முந்தைய சோதனைக்கு முன் அதைச் சோதிப்பதற்காக கிளஸ்டரை ஒரு ஸ்டேஜிங் சூழலில் வரிசைப்படுத்துவதே எங்கள் பணி.
கோட்பாட்டளவில், ஒரே நேரத்தில் இயங்கும் பல கிளஸ்டர்கள் இருக்கலாம்: முடிந்த நிலையில் அல்லது முடிவடைவதற்கு அருகில் உள்ள பணிகள். எங்கள் வசம் உள்ள சேவையகங்களின் திறன் ஒவ்வொரு சேவையகத்திலும் பல கிளஸ்டர்களை இயக்க அனுமதிக்கிறது. ஒவ்வொரு ஸ்டேஜிங் கிளஸ்டரும் தனிமைப்படுத்தப்பட வேண்டும் (போர்ட்கள், கோப்பகங்கள் போன்றவற்றில் குறுக்குவெட்டு இருக்கக்கூடாது).
எங்களின் மிக மதிப்புமிக்க ஆதாரம் நமது நேரம், எங்களிடம் அது அதிகம் இல்லை.
விரைவான தொடக்கத்திற்கு, அதன் எளிமை மற்றும் கட்டிடக்கலை நெகிழ்வுத்தன்மை காரணமாக டோக்கர் ஸ்வார்மைத் தேர்ந்தெடுத்தோம். நாங்கள் செய்த முதல் விஷயம் தொலை சேவையகங்களில் மேலாளர் மற்றும் பல முனைகளை உருவாக்குவதுதான்:
$ docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
kilqc94pi2upzvabttikrfr5d nop-test-1 Ready Active 19.03.2
jilwe56pl2zvabupryuosdj78 nop-test-2 Ready Active 19.03.2
j5a4yz1kr2xke6b1ohoqlnbq5 * nop-test-3 Ready Active Leader 19.03.2
அடுத்து, ஒரு பிணையத்தை உருவாக்கவும்:
$ docker network create --driver overlay --subnet 10.10.10.0/24 nw_swarm
அடுத்து, CI இலிருந்து நோட்களின் ரிமோட் கண்ட்ரோலின் அடிப்படையில் Gitlab-CI மற்றும் Swarm நோட்களை இணைத்தோம்: சான்றிதழ்களை நிறுவுதல், இரகசிய மாறிகளை அமைத்தல் மற்றும் கட்டுப்பாட்டு சேவையகத்தில் டோக்கர் சேவையை அமைத்தல். இந்த ஒன்று
அடுத்து, .gitlab-ci .yml இல் அடுக்கு உருவாக்கம் மற்றும் அழிப்பு வேலைகளைச் சேர்த்துள்ளோம்.
மேலும் சில வேலைகள் .gitlab-ci .yml இல் சேர்க்கப்பட்டுள்ளன
## staging stage
deploy_staging:
stage: testing
before_script:
- echo "override global 'before_script'"
image: "REGISTRY:5000/docker:latest"
environment: staging
dependencies: []
variables:
DOCKER_CERT_PATH: "/certs"
DOCKER_HOST: tcp://10.50.173.107:2376
DOCKER_TLS_VERIFY: 1
CI_BIN_DEPENDENCIES_JOB: "release.centos.7"
script:
- mkdir -p $DOCKER_CERT_PATH
- echo "$TLSCACERT" > $DOCKER_CERT_PATH/ca.pem
- echo "$TLSCERT" > $DOCKER_CERT_PATH/cert.pem
- echo "$TLSKEY" > $DOCKER_CERT_PATH/key.pem
- docker stack deploy -c docker-compose.yml ${CI_ENVIRONMENT_NAME}_${CI_COMMIT_REF_NAME} --with-registry-auth
- rm -rf $DOCKER_CERT_PATH
when: manual
## stop staging stage
stop_staging:
stage: testing
before_script:
- echo "override global 'before_script'"
image: "REGISTRY:5000/docker:latest"
environment: staging
dependencies: []
variables:
DOCKER_CERT_PATH: "/certs"
DOCKER_HOST: tcp://10.50.173.107:2376
DOCKER_TLS_VERIFY: 1
script:
- mkdir -p $DOCKER_CERT_PATH
- echo "$TLSCACERT" > $DOCKER_CERT_PATH/ca.pem
- echo "$TLSCERT" > $DOCKER_CERT_PATH/cert.pem
- echo "$TLSKEY" > $DOCKER_CERT_PATH/key.pem
- docker stack rm ${CI_ENVIRONMENT_NAME}_${CI_COMMIT_REF_NAME}
# TODO: need check that stopped
when: manual
மேலே உள்ள குறியீடு துணுக்கிலிருந்து, கைமுறையாகச் செயல்பட வேண்டிய இரண்டு பொத்தான்கள் (deploy_staging, stop_staging) பைப்லைன்களில் சேர்க்கப்பட்டுள்ளதைக் காணலாம்.
ஸ்டாக் பெயர் கிளை பெயருடன் பொருந்துகிறது மற்றும் இந்த தனித்துவம் போதுமானதாக இருக்க வேண்டும். ஸ்டேக்கில் உள்ள சேவைகள் தனித்துவமான ஐபி முகவரிகள் மற்றும் போர்ட்கள், கோப்பகங்கள் போன்றவற்றைப் பெறுகின்றன. தனிமைப்படுத்தப்படும், ஆனால் அடுக்கிலிருந்து அடுக்கு வரை ஒரே மாதிரியாக இருக்கும் (ஏனெனில் உள்ளமைவு கோப்பு எல்லா அடுக்குகளுக்கும் ஒரே மாதிரியாக இருக்கும்) - நாம் விரும்பியது. நாங்கள் ஸ்டாக்கை (கிளஸ்டர்) பயன்படுத்தி வரிசைப்படுத்துகிறோம் கூலியாள்-compose.yml, இது எங்கள் கிளஸ்டரை விவரிக்கிறது.
கூலியாள்-compose.yml
---
version: '3'
services:
userprop:
image: redis:alpine
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
celery_bcd:
image: redis:alpine
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
schedulerdb:
image: mariadb:latest
environment:
MYSQL_ALLOW_EMPTY_PASSWORD: 'yes'
MYSQL_DATABASE: schedulerdb
MYSQL_USER: ****
MYSQL_PASSWORD: ****
command: ['--character-set-server=utf8mb4', '--collation-server=utf8mb4_unicode_ci', '--explicit_defaults_for_timestamp=1']
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
celerydb:
image: mariadb:latest
environment:
MYSQL_ALLOW_EMPTY_PASSWORD: 'yes'
MYSQL_DATABASE: celerydb
MYSQL_USER: ****
MYSQL_PASSWORD: ****
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
cluster:
image: $CENTOS7
environment:
- CENTOS
- CI_ENVIRONMENT_NAME
- CI_API_V4_URL
- CI_REPOSITORY_URL
- CI_PROJECT_ID
- CI_PROJECT_URL
- CI_PROJECT_PATH
- CI_PROJECT_NAME
- CI_COMMIT_REF_NAME
- CI_BIN_DEPENDENCIES_JOB
command: >
sudo -u myusername -H /bin/bash -c ". /etc/profile &&
mkdir -p /storage1/$CI_COMMIT_REF_NAME/$CI_PROJECT_NAME &&
cd /storage1/$CI_COMMIT_REF_NAME/$CI_PROJECT_NAME &&
git clone -b $CI_COMMIT_REF_NAME $CI_REPOSITORY_URL . &&
curl $CI_API_V4_URL/projects/$CI_PROJECT_ID/jobs/artifacts/$CI_COMMIT_REF_NAME/download?job=$CI_BIN_DEPENDENCIES_JOB -o artifacts.zip &&
unzip artifacts.zip ;
cd /storage1/$CI_COMMIT_REF_NAME/$CI_PROJECT_NAME/scripts/deploy/ &&
python3 createconfig.py -s $CI_ENVIRONMENT_NAME &&
/bin/bash install_venv.sh -d -r ../../requirements.txt &&
python3 prepare_init.d.py &&
python3 deploy.py -s $CI_ENVIRONMENT_NAME"
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
tty: true
stdin_open: true
networks:
nw_swarm:
networks:
nw_swarm:
external: true
கூறுகள் ஒரு பிணையத்தால் (nw_swarm) இணைக்கப்பட்டு, ஒன்றுக்கொன்று கிடைக்கின்றன என்பதை இங்கே காணலாம்.
கணினி கூறுகள் (redis, mysql அடிப்படையில்) தனிப்பயன் கூறுகளின் பொதுவான தொகுப்பிலிருந்து பிரிக்கப்படுகின்றன (திட்டங்கள் மற்றும் விருப்பமானவை சேவைகளாகப் பிரிக்கப்படுகின்றன). எங்கள் கிளஸ்டரின் வரிசைப்படுத்தல் நிலை, CMDயை எங்களின் ஒரு பெரிய உள்ளமைக்கப்பட்ட படத்திற்கு அனுப்புவது போல் தெரிகிறது, பொதுவாக, பகுதி I இல் விவரிக்கப்பட்டுள்ள வரிசைப்படுத்தலில் இருந்து நடைமுறையில் வேறுபடாது. நான் வேறுபாடுகளை முன்னிலைப்படுத்துகிறேன்:
- ஜிட் குளோன்... - வரிசைப்படுத்த தேவையான கோப்புகளைப் பெறவும் (createconfig.py, install_venv.sh, முதலியன)
- சுருட்டு... && அன்ஜிப்... - உருவாக்க கலைப்பொருட்களைப் பதிவிறக்கி அன்சிப் செய்யவும் (தொகுக்கப்பட்ட பயன்பாடுகள்)
இன்னும் விவரிக்கப்படாத ஒரே ஒரு சிக்கல் உள்ளது: இணைய இடைமுகத்தைக் கொண்ட கூறுகளை டெவலப்பர்களின் உலாவிகளில் இருந்து அணுக முடியாது. ரிவர்ஸ் ப்ராக்ஸியைப் பயன்படுத்தி இந்த சிக்கலை நாங்கள் தீர்க்கிறோம்:
.gitlab-ci.yml இல், க்ளஸ்டர் ஸ்டேக்கைப் பயன்படுத்திய பிறகு, பேலன்சரைப் பயன்படுத்துவதற்கான வரியைச் சேர்ப்போம். d/${CI_COMMIT_REF_NAME}.conf) - docker-compose-nginx.yml குறியீட்டைப் பார்க்கவும்)
- docker stack deploy -c docker-compose-nginx.yml ${CI_ENVIRONMENT_NAME} --with-registry-auth
docker-compose-nginx.yml
---
version: '3'
services:
nginx:
image: nginx:latest
environment:
CI_COMMIT_REF_NAME: ${CI_COMMIT_REF_NAME}
NGINX_CONFIG: |-
server {
listen 8080;
server_name staging_${CI_COMMIT_REF_NAME}_cluster.dev;
location / {
proxy_pass http://staging_${CI_COMMIT_REF_NAME}_cluster:8080;
}
}
server {
listen 5555;
server_name staging_${CI_COMMIT_REF_NAME}_cluster.dev;
location / {
proxy_pass http://staging_${CI_COMMIT_REF_NAME}_cluster:5555;
}
}
volumes:
- /tmp/staging/nginx:/etc/nginx/conf.d
command:
/bin/bash -c "echo -e "$$NGINX_CONFIG" > /etc/nginx/conf.d/${CI_COMMIT_REF_NAME}.conf;
nginx -g "daemon off;";
/etc/init.d/nginx reload"
ports:
- 8080:8080
- 5555:5555
- 3000:3000
- 443:443
- 80:80
deploy:
replicas: 1
placement:
constraints: [node.id == kilqc94pi2upzvabttikrfr5d]
restart_policy:
condition: none
networks:
nw_swarm:
networks:
nw_swarm:
external: true
டெவலப்மெண்ட் கம்ப்யூட்டர்களில், புதுப்பித்தல் /etc/hosts; nginxக்கு url ஐப் பரிந்துரைக்கவும்:
10.50.173.106 staging_BRANCH-1831_cluster.dev
எனவே, தனிமைப்படுத்தப்பட்ட ஸ்டேஜிங் கிளஸ்டர்களின் வரிசைப்படுத்தல் செயல்படுத்தப்பட்டுள்ளது மற்றும் டெவலப்பர்கள் இப்போது தங்கள் பணிகளைச் சரிபார்க்க போதுமான எண்ணிக்கையில் அவற்றை இயக்கலாம்.
எதிர்கால திட்டங்கள்:
- எங்கள் கூறுகளை சேவைகளாக பிரிக்கவும்
- ஒவ்வொரு டோக்கர்ஃபைலுக்கும் வேண்டும்
- அடுக்கில் குறைவாக ஏற்றப்பட்ட முனைகளைத் தானாகக் கண்டறியவும்
- பெயர் வடிவத்தின் மூலம் முனைகளைக் குறிப்பிடவும் (கட்டுரையில் உள்ளதைப் போல ஐடியைப் பயன்படுத்துவதற்குப் பதிலாக)
- ஸ்டாக் அழிக்கப்பட்டதா என்பதைச் சேர்க்கவும்
- ...
சிறப்பு நன்றி
ஆதாரம்: www.habr.com