புரோஹோஸ்டர் > Блог > நிர்வாகம் > குபெர்னெட்டஸின் செயல்பாட்டில் 6 பொழுதுபோக்கு அமைப்பு பிழைகள் [மற்றும் அவற்றின் தீர்வு]
குபெர்னெட்டஸின் செயல்பாட்டில் 6 பொழுதுபோக்கு அமைப்பு பிழைகள் [மற்றும் அவற்றின் தீர்வு]
உற்பத்தியில் Kubernetes ஐப் பயன்படுத்திய பல ஆண்டுகளாக, பல்வேறு கணினி கூறுகளில் உள்ள பிழைகள், கொள்கலன்கள் மற்றும் காய்களின் செயல்பாட்டைப் பாதிக்கும் விரும்பத்தகாத மற்றும்/அல்லது புரிந்துகொள்ள முடியாத விளைவுகளுக்கு வழிவகுத்தது என்பதற்கான பல சுவாரஸ்யமான கதைகளை நாங்கள் சேகரித்துள்ளோம். இந்த கட்டுரையில் நாங்கள் மிகவும் பொதுவான அல்லது சுவாரஸ்யமான சிலவற்றைத் தேர்ந்தெடுத்துள்ளோம். இதுபோன்ற சூழ்நிலைகளை எதிர்கொள்ளும் அதிர்ஷ்டம் உங்களுக்கு இல்லையென்றாலும், இதுபோன்ற சிறிய துப்பறியும் கதைகளைப் பற்றி - குறிப்பாக "முதல் கை" - படிப்பது எப்போதும் சுவாரஸ்யமானது, இல்லையா?
கதை 1. சூப்பர் கிரானிக் மற்றும் டோக்கர் தொங்கும்
கிளஸ்டர்களில் ஒன்றில், நாங்கள் அவ்வப்போது உறைந்த டோக்கரைப் பெற்றோம், இது கிளஸ்டரின் இயல்பான செயல்பாட்டில் குறுக்கிடுகிறது. அதே நேரத்தில், பின்வருபவை டோக்கர் பதிவுகளில் காணப்பட்டன:
level=error msg="containerd: start init process" error="exit status 2: "runtime/cgo: pthread_create failed: No space left on device
SIGABRT: abort
PC=0x7f31b811a428 m=0
goroutine 0 [idle]:
goroutine 1 [running]:
runtime.systemstack_switch() /usr/local/go/src/runtime/asm_amd64.s:252 fp=0xc420026768 sp=0xc420026760
runtime.main() /usr/local/go/src/runtime/proc.go:127 +0x6c fp=0xc4200267c0 sp=0xc420026768
runtime.goexit() /usr/local/go/src/runtime/asm_amd64.s:2086 +0x1 fp=0xc4200267c8 sp=0xc4200267c0
goroutine 17 [syscall, locked to thread]:
runtime.goexit() /usr/local/go/src/runtime/asm_amd64.s:2086 +0x1
…
இந்த பிழையைப் பற்றி எங்களுக்கு மிகவும் ஆர்வமாக இருப்பது செய்தி: pthread_create failed: No space left on device. விரைவான படிப்பு ஆவணங்கள் டோக்கரால் ஒரு செயல்முறையை முடுக்கிவிட முடியாது என்று விளக்கினார், அதனால்தான் அது அவ்வப்போது உறைகிறது.
கண்காணிப்பில், என்ன நடக்கிறது என்பதற்கு பின்வரும் படம் ஒத்திருக்கிறது:
சிக்கல் இதுதான்: ஒரு பணியை சூப்பர் க்ரானிக்கில் இயக்கும்போது, அதன் மூலம் செயல்முறை உருவாகிறது சரியாக முடிக்க முடியாது, ஆக மாறுகிறது சோம்பை.
கருத்து: இன்னும் துல்லியமாகச் சொல்வதானால், செயல்முறைகள் கிரான் பணிகளால் உருவாக்கப்படுகின்றன, ஆனால் சூப்பர் க்ரானிக் என்பது ஒரு init அமைப்பு அல்ல, மேலும் அதன் குழந்தைகள் உருவாக்கிய செயல்முறைகளை "தத்தெடுக்க" முடியாது. SIGHUP அல்லது SIGTERM சிக்னல்கள் எழுப்பப்படும் போது, அவை குழந்தை செயல்முறைகளுக்கு அனுப்பப்படுவதில்லை, இதன் விளைவாக குழந்தை செயல்முறைகள் முடிவடையாது மற்றும் ஜாம்பி நிலையில் இருக்கும். இதைப் பற்றி நீங்கள் மேலும் படிக்கலாம், எடுத்துக்காட்டாக, இல் அத்தகைய கட்டுரை.
சிக்கல்களைத் தீர்க்க இரண்டு வழிகள் உள்ளன:
ஒரு தற்காலிக தீர்வாக - ஒரே நேரத்தில் கணினியில் PIDகளின் எண்ணிக்கையை அதிகரிக்கவும்:
/proc/sys/kernel/pid_max (since Linux 2.5.34)
This file specifies the value at which PIDs wrap around (i.e., the value in this file is one greater than the maximum PID). PIDs greater than this value are not allo‐
cated; thus, the value in this file also acts as a system-wide limit on the total number of processes and threads. The default value for this file, 32768, results in the
same range of PIDs as on earlier kernels
அல்லது சூப்பர் க்ரானிக்கில் பணிகளை நேரடியாகத் தொடங்காமல், அதைப் பயன்படுத்தவும் டைனி, இது செயல்முறைகளை சரியாக நிறுத்தக்கூடியது மற்றும் ஜோம்பிஸை உருவாக்காது.
கதை 2. ஒரு cgroup ஐ நீக்கும் போது "zombies"
குபெலெட் நிறைய CPU ஐ உட்கொள்ளத் தொடங்கினார்:
இதை யாரும் விரும்ப மாட்டார்கள், எனவே நாங்கள் ஆயுதம் ஏந்தினோம் புதுப்பிக்கப்பட்டுள்ளது perf மற்றும் பிரச்சனையை சமாளிக்க ஆரம்பித்தார். விசாரணையின் முடிவுகள் பின்வருமாறு:
குபெலெட் தனது CPU நேரத்தின் மூன்றில் ஒரு பங்கை அனைத்து cgroupகளிலிருந்தும் நினைவகத் தரவை இழுக்கச் செலவிடுகிறது:
கர்னல் டெவலப்பர்களின் அஞ்சல் பட்டியலில் நீங்கள் காணலாம் பிரச்சனை பற்றிய விவாதம். சுருக்கமாக, இந்த புள்ளி கீழே வருகிறது: பல்வேறு tmpfs கோப்புகள் மற்றும் பிற ஒத்த விஷயங்கள் கணினியிலிருந்து முழுமையாக அகற்றப்படவில்லை ஒரு cgroup ஐ நீக்கும் போது, என்று அழைக்கப்படும் memcg சோம்பை. விரைவில் அல்லது பின்னர் அவை பக்க தற்காலிக சேமிப்பிலிருந்து நீக்கப்படும், ஆனால் சேவையகத்தில் நிறைய நினைவகம் உள்ளது மற்றும் அவற்றை நீக்குவதில் நேரத்தை வீணடிப்பதில் கர்னல் புள்ளியைக் காணவில்லை. அதனால்தான் அவை குவிந்து கிடக்கின்றன. இது கூட ஏன் நடக்கிறது? இது கிரான் வேலைகள் கொண்ட சர்வர், தொடர்ந்து புதிய வேலைகளை உருவாக்குகிறது, மேலும் அவற்றுடன் புதிய காய்களையும் உருவாக்குகிறது. இவ்வாறு, புதிய cgroups அவற்றில் உள்ள கொள்கலன்களுக்காக உருவாக்கப்படுகின்றன, அவை விரைவில் நீக்கப்படும்.
குபெலெட்டில் உள்ள cAdvisor ஏன் அதிக நேரத்தை வீணடிக்கிறார்? எளிமையான செயல்பாட்டின் மூலம் இதைப் பார்ப்பது எளிது time cat /sys/fs/cgroup/memory/memory.stat. ஒரு ஆரோக்கியமான கணினியில் அறுவை சிகிச்சை 0,01 வினாடிகள் எடுத்தால், பிரச்சனைக்குரிய cron02 இல் 1,2 வினாடிகள் ஆகும். விஷயம் என்னவென்றால், sysfs இலிருந்து தரவை மிக மெதுவாகப் படிக்கும் cAdvisor, zombie cgroups இல் பயன்படுத்தப்படும் நினைவகத்தை கணக்கில் எடுத்துக்கொள்ள முயற்சிக்கிறது.
ஜோம்பிஸை வலுக்கட்டாயமாக அகற்ற, LKML இல் பரிந்துரைக்கப்பட்டபடி தற்காலிக சேமிப்புகளை அழிக்க முயற்சித்தோம்: sync; echo 3 > /proc/sys/vm/drop_caches, - ஆனால் கர்னல் மிகவும் சிக்கலானதாக மாறியது மற்றும் காரை செயலிழக்கச் செய்தது.
என்ன செய்ய? பிரச்சனை சரி செய்யப்படுகிறது (உறுதி, மற்றும் ஒரு விளக்கத்திற்கு பார்க்கவும் செய்தியை வெளியிடு) லினக்ஸ் கர்னலை பதிப்பு 4.16 க்கு மேம்படுத்துகிறது.
வரலாறு 3. Systemd மற்றும் அதன் மவுண்ட்
மீண்டும், குபெலெட் சில முனைகளில் பல ஆதாரங்களை உட்கொள்கிறது, ஆனால் இந்த முறை அது அதிக நினைவகத்தை உட்கொள்கிறது:
உபுண்டு 16.04 இல் பயன்படுத்தப்படும் systemd இல் சிக்கல் உள்ளது, மேலும் இணைப்புக்காக உருவாக்கப்பட்ட மவுண்ட்களை நிர்வகிக்கும் போது இது நிகழ்கிறது. subPath ConfigMap அல்லது இரகசியத்திலிருந்து. நெற்று அதன் வேலையை முடித்த பிறகு systemd சேவை மற்றும் அதன் சேவை மவுண்ட் இன்னும் இருக்கும் அமைப்பில். காலப்போக்கில், அவற்றில் ஏராளமானவை குவிகின்றன. இந்த தலைப்பில் கூட சிக்கல்கள் உள்ளன:
...இதில் கடைசியானது systemd இல் PR ஐக் குறிக்கிறது: #7811 (systemd இல் சிக்கல் - #7798).
உபுண்டு 18.04 இல் சிக்கல் இனி இல்லை, ஆனால் நீங்கள் உபுண்டு 16.04 ஐ தொடர்ந்து பயன்படுத்த விரும்பினால், இந்த தலைப்பில் எங்கள் தீர்வு பயனுள்ளதாக இருக்கும்.
எனவே நாங்கள் பின்வரும் டீமான்செட்டை உருவாக்கினோம்:
... மேலும் இது பின்வரும் ஸ்கிரிப்டைப் பயன்படுத்துகிறது:
#!/bin/bash
# we will work only on xenial
hostrelease="/etc/lsb-release-host"
test -f ${hostrelease} && grep xenial ${hostrelease} > /dev/null || exit 0
# sleeping max 30 minutes to dispense load on kube-nodes
sleep $((RANDOM % 1800))
stoppedCount=0
# counting actual subpath units in systemd
countBefore=$(systemctl list-units | grep subpath | grep "run-" | wc -l)
# let's go check each unit
for unit in $(systemctl list-units | grep subpath | grep "run-" | awk '{print $1}'); do
# finding description file for unit (to find out docker container, who born this unit)
DropFile=$(systemctl status ${unit} | grep Drop | awk -F': ' '{print $2}')
# reading uuid for docker container from description file
DockerContainerId=$(cat ${DropFile}/50-Description.conf | awk '{print $5}' | cut -d/ -f6)
# checking container status (running or not)
checkFlag=$(docker ps | grep -c ${DockerContainerId})
# if container not running, we will stop unit
if [[ ${checkFlag} -eq 0 ]]; then
echo "Stopping unit ${unit}"
# stoping unit in action
systemctl stop $unit
# just counter for logs
((stoppedCount++))
# logging current progress
echo "Stopped ${stoppedCount} systemd units out of ${countBefore}"
fi
done
... மேலும் இது ஒவ்வொரு 5 நிமிடங்களுக்கும் முன்பு குறிப்பிடப்பட்ட சூப்பர் கிரானிக்கைப் பயன்படுத்தி இயங்கும். அதன் Dockerfile இது போல் தெரிகிறது:
இது கவனிக்கப்பட்டது: ஒரு முனையில் ஒரு பாட் வைக்கப்பட்டு அதன் படம் மிக நீண்ட நேரம் வெளியேற்றப்பட்டால், அதே முனையை "அடிக்கும்" மற்றொரு பாட் வெறுமனே இருக்கும். புதிய நெற்றின் படத்தை இழுக்க ஆரம்பிக்கவில்லை. அதற்கு பதிலாக, முந்தைய பாட்டின் படம் இழுக்கப்படும் வரை அது காத்திருக்கிறது. இதன் விளைவாக, ஏற்கனவே திட்டமிடப்பட்ட ஒரு பாட் மற்றும் அதன் படத்தை ஒரு நிமிடத்தில் பதிவிறக்கம் செய்திருக்க முடியும் containerCreating.
நிகழ்வுகள் இப்படி இருக்கும்:
Normal Pulling 8m kubelet, ip-10-241-44-128.ap-northeast-1.compute.internal pulling image "registry.example.com/infra/openvpn/openvpn:master"
அது மாறிவிடும் மெதுவான பதிவேட்டில் இருந்து ஒரு படம் வரிசைப்படுத்தலைத் தடுக்கலாம் ஒரு முனைக்கு.
துரதிர்ஷ்டவசமாக, சூழ்நிலையிலிருந்து பல வழிகள் இல்லை:
உங்கள் டோக்கர் பதிவேட்டை நேரடியாக கிளஸ்டரில் அல்லது நேரடியாக கிளஸ்டருடன் பயன்படுத்த முயற்சிக்கவும் (உதாரணமாக, GitLab Registry, Nexus போன்றவை);
கதை 5. நினைவாற்றல் இல்லாததால் கணுக்கள் தொங்குகின்றன
பல்வேறு பயன்பாடுகளின் செயல்பாட்டின் போது, ஒரு முனை முற்றிலும் அணுக முடியாத சூழ்நிலையையும் நாங்கள் சந்தித்தோம்: SSH பதிலளிக்கவில்லை, அனைத்து கண்காணிப்பு டீமான்களும் வீழ்ச்சியடைகின்றன, பின்னர் பதிவுகளில் முரண்பாடான எதுவும் இல்லை (அல்லது கிட்டத்தட்ட எதுவும் இல்லை).
MongoDB செயல்பட்ட ஒரு முனையின் உதாரணத்தைப் பயன்படுத்தி படங்களில் உங்களுக்குச் சொல்கிறேன்.
இது தான் மேலே தெரிகிறது செய்ய விபத்துக்கள்:
மற்றும் இப்படி - после விபத்துக்கள்:
கண்காணிப்பில், ஒரு கூர்மையான ஜம்ப் உள்ளது, இதில் முனை கிடைப்பதை நிறுத்துகிறது:
எனவே, ஸ்கிரீன் ஷாட்களில் இருந்து இது தெளிவாகிறது:
கணினியில் உள்ள ரேம் முடிவுக்கு அருகில் உள்ளது;
ரேம் நுகர்வு ஒரு கூர்மையான ஜம்ப் உள்ளது, அதன் பிறகு முழு இயந்திரத்திற்கான அணுகல் திடீரென முடக்கப்பட்டது;
மோங்கோவில் ஒரு பெரிய பணி வருகிறது, இது DBMS செயல்முறையை அதிக நினைவகத்தைப் பயன்படுத்தவும் வட்டில் இருந்து தீவிரமாகப் படிக்கவும் கட்டாயப்படுத்துகிறது.
லினக்ஸ் இலவச நினைவகம் (நினைவக அழுத்தம் அமைகிறது) மற்றும் இடமாற்று இல்லை என்றால், அது மாறிவிடும் செய்ய OOM கொலையாளி வரும்போது, பக்கங்களைத் தற்காலிக சேமிப்பில் எறிவதற்கும் அவற்றை வட்டில் எழுதுவதற்கும் இடையில் ஒரு சமநிலைச் செயல் ஏற்படலாம். இது kswapd ஆல் செய்யப்படுகிறது, இது தைரியமாக முடிந்தவரை பல நினைவக பக்கங்களை அடுத்தடுத்த விநியோகத்திற்காக விடுவிக்கிறது.
துரதிர்ஷ்டவசமாக, ஒரு பெரிய I/O சுமையுடன் சிறிய அளவிலான இலவச நினைவகத்துடன், kswapd முழு அமைப்பின் இடையூறாக மாறுகிறது, அவர்கள் அதனுடன் பிணைக்கப்பட்டிருப்பதால் அனைத்து கணினியில் நினைவகப் பக்கங்களின் ஒதுக்கீடுகள் (பக்க பிழைகள்). செயல்முறைகள் இனி நினைவகத்தைப் பயன்படுத்த விரும்பவில்லை, ஆனால் OOM-கொலையாளி படுகுழியின் விளிம்பில் நிலைநிறுத்தப்பட்டால் இது மிக நீண்ட காலத்திற்கு தொடரலாம்.
இயல்பான கேள்வி: OOM கொலையாளி ஏன் இவ்வளவு தாமதமாக வருகிறார்? அதன் தற்போதைய மறு செய்கையில், OOM கொலையாளி மிகவும் முட்டாள்: நினைவகப் பக்கத்தை ஒதுக்கும் முயற்சி தோல்வியுற்றால் மட்டுமே அது செயல்முறையைக் கொல்லும், அதாவது. பக்க தவறு தோல்வியுற்றால். இது நீண்ட காலமாக நடக்காது, ஏனெனில் kswapd தைரியமாக நினைவகப் பக்கங்களை விடுவிக்கிறது, பக்க தற்காலிக சேமிப்பை (உண்மையில் கணினியில் உள்ள முழு வட்டு I/O) மீண்டும் வட்டுக்கு அனுப்புகிறது. இன்னும் விரிவாக, கர்னலில் இதுபோன்ற சிக்கல்களை அகற்ற தேவையான படிகளின் விளக்கத்துடன், நீங்கள் படிக்கலாம் இங்கே.
கதை 6. நிலுவையில் உள்ள நிலையில் காய்கள் சிக்கிக் கொள்கின்றன
சில கொத்துகளில், உண்மையில் பல காய்கள் இயங்குகின்றன, அவற்றில் பெரும்பாலானவை மாநிலத்தில் மிக நீண்ட காலமாக "தொங்குவதை" நாங்கள் கவனிக்க ஆரம்பித்தோம். Pending, டோக்கர் கன்டெய்னர்கள் ஏற்கனவே முனைகளில் இயங்கினாலும் கைமுறையாக வேலை செய்ய முடியும்.
அதே நேரத்தில், இல் describe தவறு எதுவும் இல்லை:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 1m default-scheduler Successfully assigned sphinx-0 to ss-dev-kub07
Normal SuccessfulAttachVolume 1m attachdetach-controller AttachVolume.Attach succeeded for volume "pvc-6aaad34f-ad10-11e8-a44c-52540035a73b"
Normal SuccessfulMountVolume 1m kubelet, ss-dev-kub07 MountVolume.SetUp succeeded for volume "sphinx-config"
Normal SuccessfulMountVolume 1m kubelet, ss-dev-kub07 MountVolume.SetUp succeeded for volume "default-token-fzcsf"
Normal SuccessfulMountVolume 49s (x2 over 51s) kubelet, ss-dev-kub07 MountVolume.SetUp succeeded for volume "pvc-6aaad34f-ad10-11e8-a44c-52540035a73b"
Normal Pulled 43s kubelet, ss-dev-kub07 Container image "registry.example.com/infra/sphinx-exporter/sphinx-indexer:v1" already present on machine
Normal Created 43s kubelet, ss-dev-kub07 Created container
Normal Started 43s kubelet, ss-dev-kub07 Started container
Normal Pulled 43s kubelet, ss-dev-kub07 Container image "registry.example.com/infra/sphinx/sphinx:v1" already present on machine
Normal Created 42s kubelet, ss-dev-kub07 Created container
Normal Started 42s kubelet, ss-dev-kub07 Started container
சிறிது தோண்டிய பிறகு, காய்களின் நிலை மற்றும் உயிர் / தயார்நிலை சோதனைகள் பற்றிய அனைத்து தகவல்களையும் API சேவையகத்திற்கு அனுப்ப kubelet க்கு நேரமில்லை என்ற அனுமானத்தை நாங்கள் செய்தோம்.
உதவியைப் படித்த பிறகு, பின்வரும் அளவுருக்களைக் கண்டறிந்தோம்:
--kube-api-qps - QPS to use while talking with kubernetes apiserver (default 5)
--kube-api-burst - Burst to use while talking with kubernetes apiserver (default 10)
--event-qps - If > 0, limit event creations per second to this value. If 0, unlimited. (default 5)
--event-burst - Maximum size of a bursty event records, temporarily allows event records to burst to this number, while still not exceeding event-qps. Only used if --event-qps > 0 (default 10)
--registry-qps - If > 0, limit registry pull QPS to this value.
--registry-burst - Maximum size of bursty pulls, temporarily allows pulls to burst to this number, while still not exceeding registry-qps. Only used if --registry-qps > 0 (default 10)
பார்த்தபடி, இயல்புநிலை மதிப்புகள் மிகவும் சிறியவை, மற்றும் 90% இல் அவர்கள் அனைத்து தேவைகளையும் பூர்த்தி செய்கிறார்கள் ... இருப்பினும், எங்கள் விஷயத்தில் இது போதுமானதாக இல்லை. எனவே, பின்வரும் மதிப்புகளை அமைக்கிறோம்:
... மற்றும் kubelets ஐ மறுதொடக்கம் செய்தோம், அதன் பிறகு API சேவையகத்திற்கான அழைப்புகளின் வரைபடங்களில் பின்வரும் படத்தைப் பார்த்தோம்:
... ஆம், எல்லாம் பறக்க ஆரம்பித்தது!
சோசலிஸ்ட் கட்சி
பிழைகளைச் சேகரித்து இந்தக் கட்டுரையைத் தயாரிப்பதில் அவர்கள் செய்த உதவிக்காக, எங்கள் நிறுவனத்தின் எண்ணற்ற பொறியாளர்களுக்கும், குறிப்பாக எங்கள் R&D குழுவைச் சேர்ந்த என் சக ஊழியரான Andrey Klimentyev அவர்களுக்கும் எனது ஆழ்ந்த நன்றியைத் தெரிவித்துக் கொள்கிறேன் (zuzzas).